[论文解读] Examining Cooperation in Visual Dialog Models

Mircea Mironenco, Dana Kianfar+3 more|arXiv (Cornell University)|Dec 4, 2017

Multimodal Machine Learning Applications参考文献 10被引用 3

一句话总结

本文提出一种黑箱干预方法，用于评估视觉对话模型中语言与视觉组件的贡献。通过系统性地对图像特征、图像描述或对话轮次施加随机噪声或否定操作，结果表明当前最先进模型对视觉输入和对话连贯性的依赖极低，反而严重依赖初始图像描述，揭示了对话代理之间合作能力较弱。

ABSTRACT

In this work we propose a blackbox intervention method for visual dialog models, with the aim of assessing the contribution of individual linguistic or visual components. Concretely, we conduct structured or randomized interventions that aim to impair an individual component of the model, and observe changes in task performance. We reproduce a state-of-the-art visual dialog model and demonstrate that our methodology yields surprising insights, namely that both dialog and image information have minimal contributions to task performance. The intervention method presented here can be applied as a sanity check for the strength and robustness of each component in visual dialog systems.

研究动机与目标

• 开发一种与模型无关的方法，用于评估视觉对话系统中语言与视觉组件的贡献。
• 探究视觉对话代理是否真正通过利用图像和语言信息实现协作。
• 识别模型是否过度依赖初始图像描述，或是否有效利用对话交互进行图像检索。
• 为多模态对话系统中的模型鲁棒性与组件级可靠性提供合理性检验。

提出的方法

• 在推理过程中对特定组件（图像特征、图像描述或对话轮次）施加结构化或随机干预，以破坏其功能。
• 用随机均匀噪声替换图像特征，以测试对视觉模态的依赖程度。
• 用随机词汇替换图像描述中的内容词，以评估描述质量与相关性。
• 以概率 p 随机破坏问题或回答中的标记，以评估对话鲁棒性。
• 通过翻转是/否回答实施否定干预，以测试对非合作行为的敏感度。
• 在每种干预条件下，使用 VisDial 验证集上的平均百分位排名（MPR）评估性能。

实验结果

研究问题

• RQ1 视觉对话模型在多大程度上依赖视觉输入以实现准确的图像检索？
• RQ2 与对话历史相比，模型在多大程度上依赖初始图像描述来做出预测？
• RQ3 模型在对话轮次中遭受随机或对抗性扰动时，其鲁棒性如何？
• RQ4 当回答代理返回否定回答时，模型是否表现出合作行为？
• RQ5 语言与视觉组件是否得到同等程度的利用，还是其中某一者在决策过程中占主导地位？

主要发现

• 将图像特征替换为随机噪声仅导致 MPR 下降 0.4%，表明对视觉输入的依赖极低。
• 图像描述干预在第 10 轮导致性能下降 40.1%，表明初始描述是信息的主要来源。
• 随机破坏答案或问题导致 MPR 下降不足 1%，表明对话内容未被有效用于图像识别。
• 否定干预仅导致 MPR 下降 0.3%，表明对非合作行为的敏感度有限。
• 模型在大多数干预下性能保持稳定，揭示了代理间协作能力薄弱，且可能过度依赖初始图像描述。
• 在图像描述干预下，模型的排序性能随时间略有提升，但始终未能恢复，表明初始上下文受损后存在持续性性能下降。