[论文解读] CLEVR-Ref+: Diagnosing Visual Reasoning with Referring Expressions

Runtao Liu, Chenxi Liu+2 more|arXiv (Cornell University)|Jan 3, 2019

Multimodal Machine Learning Applications被引用 21

一句话总结

本文提出 CLEVR-Ref+，一个用于指代表达理解的合成诊断数据集，可精确控制偏差，并为中间推理步骤提供自动、程序化的真实标签。通过模块化网络方法，作者提出 IEP-Ref，该模型实现了最先进性能，并首次展示了可通过直接可视化中间输出，对神经模块进行逐步视觉检查，且对虚假前提的指代表达具有强鲁棒性。

ABSTRACT

Referring object detection and referring image segmentation are important tasks that require joint understanding of visual information and natural language. Yet there has been evidence that current benchmark datasets suffer from bias, and current state-of-the-art models cannot be easily evaluated on their intermediate reasoning process. To address these issues and complement similar efforts in visual question answering, we build CLEVR-Ref+, a synthetic diagnostic dataset for referring expression comprehension. The precise locations and attributes of the objects are readily available, and the referring expressions are automatically associated with functional programs. The synthetic nature allows control over dataset bias (through sampling strategy), and the modular programs enable intermediate reasoning ground truth without human annotators. In addition to evaluating several state-of-the-art models on CLEVR-Ref+, we also propose IEP-Ref, a module network approach that significantly outperforms other models on our dataset. In particular, we present two interesting and important findings using IEP-Ref: (1) the module trained to transform feature maps into segmentation masks can be attached to any intermediate module to reveal the entire reasoning process step-by-step; (2) even if all training data has at least one object referred, IEP-Ref can correctly predict no-foreground when presented with false-premise referring expressions. To the best of our knowledge, this is the first direct and quantitative proof that neural modules behave in the way they are intended.

研究动机与目标

• 为解决真实世界指代表达数据集存在的强标注偏差和缺乏中间推理监督的问题。
• 开发一个诊断基准，以实现对模型行为的详细分析，超越最终预测准确率的范畴。
• 通过与指代表达相关联的自动生成功能程序，实现对视觉推理过程的评估。
• 提出一种支持可解释、模块化推理的模型架构，并可在每个中间步骤进行检查。
• 证明可通过直接可视化中间输出，验证神经模块是否执行其预期功能。

提出的方法

• 通过将 CLEVR 问题转换为指代表达，构建 CLEVR-Ref+，输出形式为分割掩码或边界框。
• 使用合成环境确保均匀采样，并通过受控场景生成最小化数据集偏差。
• 自动将每个指代表达与一个功能程序关联，以编码分步推理过程。
• 设计 IEP-Ref 为神经模块网络，其中每个模块在特征图上执行特定推理操作（例如，Find、Relate、Count）。
• 将训练好的 Segment 模块连接到中间模块输出，无需额外训练即可逐步可视化推理过程。
• 使用 IoU 和准确率评估模型性能，并通过子类别性能分析诊断模型弱点。

实验结果

研究问题

• RQ1 合成数据集能否减少偏差，并实现对指代表达模型中间推理步骤的精确评估？
• RQ2 通过共享分割模块可视化中间输出，神经模块网络在多大程度上可被解释？
• RQ3 在仅包含有效指代表达的训练数据上训练的模型，能否泛化到涉及不存在对象的虚假前提表达？
• RQ4 哪些推理概念（如序数性或同属性关系）对当前模型最具挑战性？
• RQ5 与指代表达相关联的功能程序能否用于验证每个模块是否执行其预期任务？

主要发现

• IEP-Ref 在 CLEVR-Ref+ 上实现了最先进性能，显著优于现有模型，在分割掩码 IoU 和准确率方面均表现更优。
• 该模型对虚假前提指代表达表现出强鲁棒性：在超过 25% 的情况下预测为零前景像素，在超过 33% 的情况下预测的前景像素数 ≤8，尽管此类样本未出现在训练数据中。
• 将训练好的 Segment 模块连接到中间输出，可揭示一条清晰、可解释的推理路径，每一步 IoU 均较高，证实模块按预期执行。
• Unique 模块表现出意外行为——常表现为补集操作，但后续模块（如 Same 或 Relate）可纠正此行为，表明其具备功能自适应能力。
• 序数性和同属性关系是最具挑战性的推理概念，模型在这些子类别上的表现显著低于其他类别。
• 本工作首次提供了直接、定量的证据，证明模块网络中的神经模块按预期行为运行，可视化结果证实了每一步的功能执行正确性。