[论文解读] CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning

Justin Johnson, Bharath Hariharan+4 more|arXiv (Cornell University)|Dec 20, 2016

Multimodal Machine Learning Applications参考文献 43被引用 46

一句话总结

CLEVR 是一个用于评估人工智能系统中组合语言和基础视觉推理能力的诊断性视觉问答数据集。它使用带有最小偏差的合成3D场景、结构化标注以及基于功能程序的问题表示，以隔离推理能力，揭示即使在标准基准上表现优异，最先进模型在短期记忆和组合泛化方面仍存在困难。

ABSTRACT

When building artificial intelligence systems that can reason and answer questions about visual data, we need diagnostic tests to analyze our progress and discover shortcomings. Existing benchmarks for visual question answering can help, but have strong biases that models can exploit to correctly answer questions without reasoning. They also conflate multiple sources of error, making it hard to pinpoint model weaknesses. We present a diagnostic dataset that tests a range of visual reasoning abilities. It contains minimal biases and has detailed annotations describing the kind of reasoning each question requires. We use this dataset to analyze a variety of modern visual reasoning systems, providing novel insights into their abilities and limitations.

研究动机与目标

• 解决缺乏能够隔离并测量视觉问答模型特定视觉推理能力的诊断工具的问题。
• 减少数据集中允许模型利用统计线索而非真正推理的偏差。
• 创建具有详细、结构化标注的数据集，以支持对模型行为的细粒度分析。
• 评估现代视觉问答系统在执行组合推理和内存密集型操作方面的能力。
• 识别最先进模型中此前未被发现的弱点，特别是短期记忆和对新属性组合的泛化能力方面。

提出的方法

• 使用可控的场景生成器生成100,000个合成3D场景，以确保视觉信息的一致性和完整性。
• 通过程序化管道自动生成一百万个问题（853,000个唯一问题），将问题映射到功能程序。
• 在问题类别内使用拒绝采样方法，以最小化条件依赖偏差并消除捷径答案。
• 为每张图像标注真实对象属性（位置、大小、形状、颜色、材质等），为每个问题标注可执行的功能程序。
• 设计问题以测试特定类型的推理：计数、比较、逻辑运算、属性查询以及多步推理。
• 使用结构化的功能程序作为真实标签，以实现对模型预测的精确评估与错误分析。

实验结果

研究问题

• RQ1 现代视觉问答模型在多大程度上依赖数据集偏差而非真正的视觉推理？
• RQ2 模型能否泛化到训练期间未见过的属性与对象的新组合？
• RQ3 模型在需要短期记忆的任务上表现如何，例如在多个步骤中比较不同对象的属性？
• RQ4 当前模型在哪些具体推理组件（例如计数、比较、逻辑推理）上表现最差？
• RQ5 基于功能程序的标注是否能比标准视觉问答标注更精确地诊断模型失败原因？

主要发现

• 最先进视觉问答模型在标准基准上表现优异，但在需要短期记忆的任务（如比较远距离对象的属性）上表现失败。
• 模型在组合推理方面存在显著困难，尤其是在识别新属性组合（如新型形状-颜色-材质组合）时。
• 即使整体准确率较高，模型在涉及多步推理的问题上仍表现出系统性失败，例如嵌套比较或在复杂空间约束下的计数。
• 使用基于功能程序的标注揭示了模型在特定推理子任务上经常失败，例如 'query_shape' 或 'count'，尽管在其他任务上答案正确。
• 模型对偏差高度敏感，即使在设计为最小化偏差的数据集中也是如此，表明当前架构可能仍在利用细微的统计线索。
• 该数据集暴露了一个关键差距：模型在真实世界视觉问答中表现良好，但在结构化、组合性推理任务中失败，凸显了对更强大推理机制的迫切需求。