[论文解读] Learning Visual Reasoning Without Strong Priors

Ethan Perez, H. de Vries+3 more|HAL (Le Centre pour la Communication Scientifique Directe)|Jul 10, 2017

Multimodal Machine Learning Applications被引用 23

一句话总结

该论文表明，一种使用条件批归一化（CBN）的通用深度学习架构可在CLEVR基准上实现最先进（SOTA）的视觉推理性能——错误率为2.4%，且无需依赖手工设计的推理模块或强架构先验。通过使用RNN将问题嵌入条件化到CNN的批归一化参数上，该模型能够直接从语言和图像输入中学习结构化、多步推理。

ABSTRACT

Achieving artificial visual reasoning - the ability to answer image-related questions which require a multi-step, high-level process - is an important step towards artificial general intelligence. This multi-modal task requires learning a question-dependent, structured reasoning process over images from language. Standard deep learning approaches tend to exploit biases in the data rather than learn this underlying structure, while leading methods learn to visually reason successfully but are hand-crafted for reasoning. We show that a general-purpose, Conditional Batch Normalization approach achieves state-of-the-art results on the CLEVR Visual Reasoning benchmark with a 2.4% error rate. We outperform the next best end-to-end method (4.5%) and even methods that use extra supervision (3.1%). We probe our model to shed light on how it reasons, showing it has learned a question-dependent, multi-step process. Previous work has operated under the assumption that visual reasoning calls for a specialized architecture, but we show that a general architecture with proper conditioning can learn to visually reason effectively.

研究动机与目标

• 证明视觉推理可在不使用专用架构或强归纳偏置的情况下有效学习。
• 探究通用深度学习模型是否能够从语言和图像输入中学习结构化、与问题相关的推理。
• 评估条件批归一化（CBN）在无需显式推理先验的情况下实现端到端视觉推理的有效性。
• 探究模型的内部行为，以理解其如何执行多步推理。

提出的方法

• 使用循环神经网络（RNN）将自然语言问题编码为上下文嵌入。
• 应用条件批归一化（CBN）根据问题嵌入调制卷积神经网络（CNN）的特征图。
• 通过RNN最终隐藏状态的可学习线性投影生成CBN参数（γ和β）。
• 采用残差块架构，在每个卷积块后加入CBN层，以实现分层的特征调制。
• 将CNN的批归一化统计量基于问题进行条件化，使语言能够引导视觉特征处理。
• 采用简单、可端到端训练的流程，无需程序级监督或关系模块设计。

实验结果

研究问题

• RQ1 通用深度学习模型是否能在不使用显式架构先验的情况下实现强大的视觉推理性能？
• RQ2 条件批归一化（CBN）如何实现语言条件化的视觉特征调制以支持多步推理？
• RQ3 该模型是否学习了一种结构化、与问题相关的推理过程，而非利用数据集偏差？
• RQ4 基于CBN的条件化是否优于为视觉推理专门设计的架构？

主要发现

• 该模型在CLEVR基准上实现了2.4%的错误率，优于次佳的端到端方法（4.5%），甚至优于部分采用额外监督的方法（3.1%）。
• 模型学习到了一种与问题相关的多步推理过程，这通过CBN参数沿网络深度的聚类得到证实。
• 早期CBN层按低层次推理功能分组（例如，检测颜色、形状），而后期层则按高层次推理功能分组（例如，计数、比较）。
• 该模型在无架构归纳偏置的情况下，对复杂推理任务具有良好的泛化能力，表明CBN能够实现有效的逐特征条件化。
• 探针分析表明，该模型避免依赖数据集偏差，而是通过结构化、语言引导的特征操作来学习推理。
• 基于CBN的条件化仅通过极少的架构修改即可实现强大性能，表明其是多模态推理中一种强大且通用的技术。