[论文解读] CLEVR-Dialog: A Diagnostic Dataset for Multi-Round Reasoning in Visual Dialog

Satwik Kottur, José M. F. Moura+3 more|arXiv (Cornell University)|Mar 7, 2019

Multimodal Machine Learning Applications参考文献 19被引用 50

一句话总结

本文介绍 CLEVR-Dialog，一个用于研究可视化对话中多轮推理的大型合成诊断数据集，具备完全标注的场景图，并基于视觉对话中的指代消解进行基准测试。

ABSTRACT

Visual Dialog is a multimodal task of answering a sequence of questions grounded in an image, using the conversation history as context. It entails challenges in vision, language, reasoning, and grounding. However, studying these subtasks in isolation on large, real datasets is infeasible as it requires prohibitively-expensive complete annotation of the 'state' of all images and dialogs. We develop CLEVR-Dialog, a large diagnostic dataset for studying multi-round reasoning in visual dialog. Specifically, we construct a dialog grammar that is grounded in the scene graphs of the images from the CLEVR dataset. This combination results in a dataset where all aspects of the visual dialog are fully annotated. In total, CLEVR-Dialog contains 5 instances of 10-round dialogs for about 85k CLEVR images, totaling to 4.25M question-answer pairs. We use CLEVR-Dialog to benchmark performance of standard visual dialog models; in particular, on visual coreference resolution (as a function of the coreference distance). This is the first analysis of its kind for visual dialog models that was not possible without this dataset. We hope the findings from CLEVR-Dialog will help inform the development of future models for visual dialog. Our dataset and code are publicly available.

研究动机与目标

• 在视觉对话中独立研究视觉-语言推理子问题（视觉、语言、定位/落地、记忆）的动机。
• 通过在 CLEVR 场景图中锚定对话语法，提供一个大型、穷尽注释的诊断数据集。
• 使能够分析对话历史和指代距离如何影响模型性能。
• 基准测试基线视觉对话模型并诊断视觉指代消解能力。

提出的方法

• 构建一个以 CLEVR 场景图为基础的对话语法，以生成全面标注的可视化对话。
• 使用原语（Sample、Unique、Count、Group、Filter、Exist、Relate）来构建字幕和问题模板。
• 使用基于规则的语法与束搜索生成字幕和问题，以确保对话多样且不冗余。
• 为每个 CLEVR 图像标注一个完整的场景图并跟踪依赖历史的对话状态。
• 在 CLEVR-Dialog 上基准神经模型（包括 CorefNMN），以分析性能随指代距离和历史依赖的函数关系。

实验结果

研究问题

• RQ1 在视觉对话中，随着指代距离的增加，视觉指代解析的性能如何退化？
• RQ2 不同的视觉对话模型如何利用对话历史来回答基于图像的问题？
• RQ3 基于历史依赖的问题对模型总体准确率有何影响？
• RQ4 哪些模型架构最擅长处理视觉对话中的指代和基于历史的推理？

主要发现

• CLEVR-Dialog 使得对视觉指代和历史依赖的大规模分析成为可能，这是现实世界数据集难以实现的。
• CorefNMN 在 CLEVR-Dialog 上达到 68.0% 的准确率，超越若干基线，展示了显式指代建模的价值。
• 基于历史的问题（尤其是那些需要长距离指代的）揭示，一些模型（如 HRE-QIH）通过利用对话级摘要，在所有问题上都能超越以指代为中心的架构。
• CLEVR-Dialog 显示平均指代距离为 3.2 轮，距离范围更广（1 到 10），表明比 MNIST-Dialog 更具挑战性的多轮推理。
• 数据集统计显示 85k 个 CLEVR 图像，拥有 3.5M 训练问答对和 0.75M 验证问答对，覆盖 5 个实例对话，每图 10 轮。
• 各种问题类型（count、exist、seek）以及丰富的历史依赖分布，显示出比以往合成数据集更高的语言多样性和推理需求。