[论文解读] Inverse Visual Question Answering: A New Benchmark and VQA Diagnosis Tool

Feng Liu, Tao Xiang+3 more|arXiv (Cornell University)|Mar 16, 2018

Multimodal Machine Learning Applications被引用 3

一句话总结

本文提出逆向视觉问答（iVQA）这一新型基准，通过从图像-答案对生成问题来评估多模态理解能力。该研究提出一种变分iVQA模型，以生成多样化且语境相关的提问，并利用iVQA诊断VQA模型的‘信念集合’——揭示了广泛存在的错误信念，包括对抗性与无关的问题-答案对，表明当前VQA模型依赖捷径且泛化能力差，尽管在标准基准上表现准确率较高。

ABSTRACT

In recent years, visual question answering (VQA) has become topical. The premise of VQA's significance as a benchmark in AI, is that both the image and textual question need to be well understood and mutually grounded in order to infer the correct answer. However, current VQA models perhaps `understand' less than initially hoped, and instead master the easier task of exploiting cues given away in the question and biases in the answer distribution. In this paper we propose the inverse problem of VQA (iVQA). The iVQA task is to generate a question that corresponds to a given image and answer pair. We propose a variational iVQA model that can generate diverse, grammatically correct and content correlated questions that match the given answer. Based on this model, we show that iVQA is an interesting benchmark for visuo-linguistic understanding, and a more challenging alternative to VQA because an iVQA model needs to understand the image better to be successful. As a second contribution, we show how to use iVQA in a novel reinforcement learning framework to diagnose any existing VQA model by way of exposing its belief set: the set of question-answer pairs that the VQA model would predict true for a given image. This provides a completely new window into what VQA models `believe' about images. We show that existing VQA models have more erroneous beliefs than previously thought, revealing their intrinsic weaknesses. Suggestions are then made on how to address these weaknesses going forward.

研究动机与目标

• 为解决当前VQA基准存在的局限性，即易受数据集偏见和捷径学习影响。
• 提出iVQA作为更具鲁棒性、开放世界的基准，其要求的视觉-语言理解深度超过标准VQA。
• 开发一种基于iVQA的诊断框架，以揭示现有VQA模型的信念集合，揭示其隐藏的误解与弱点。
• 识别VQA模型的关键失效模式，如信念不一致、无关预测及对抗性泛化错误。
• 提出一个新的、具有挑战性的VQA数据集，由对抗性样本构成，用于评估未来模型超越标准基准的能力。

提出的方法

• 训练一种变分iVQA模型，以基于图像和答案对生成多样化、语法正确且内容相关的提问。
• 该模型采用序列到序列架构并结合注意力机制，以确保语言连贯性与视觉相关性。
• 采用强化学习框架生成问题，以最大化预训练VQA模型对给定答案的预测概率，从而有效探测其信念集合。
• VQA模型的信念集合被定义为：对于给定图像，该模型会预测为正确的所有问题-答案对的集合。
• 通过生成VQA模型在视觉上合理但回答错误的问题，收集对抗性样本。
• 从四个VQA模型的信念集合中构建了一个包含282个对抗性样本的新聚焦基准数据集，并由人工标注正确答案以供评估。

实验结果

研究问题

• RQ1 iVQA能否作为比标准VQA更具鲁棒性的基准，从而减少对答案偏见和数据集捷径的敏感性？
• RQ2 现有VQA模型在图像内容上存在多大程度的错误或不一致信念？这些信念能否被系统性地诊断？
• RQ3 VQA模型的信念集合与标准数据集中真实标注相比如何？哪些类型的错误最为普遍？
• RQ4 iVQA生成的问题能否揭示标准评估所遗漏的隐藏弱点，如无关或对抗性预测？
• RQ5 当前VQA模型的关键失效模式是什么？未来模型应如何设计以避免这些缺陷？

主要发现

• 现有VQA模型普遍存在错误信念，即使在新对抗性基准上准确率下降40%，表明其泛化能力差，尽管在标准数据集上表现优异。
• VQA模型的信念集合中包含大量‘对抗性’与‘无关’的问题-答案对，表明模型常在缺乏视觉依据的情况下自信预测。
• iVQA模型成功生成多样化、语法正确且视觉相关的提问，证明其具备建模复杂视觉-语言关系的能力。
• 分析揭示模型存在‘双重思维’现象——即持有相互矛盾的信念，凸显了对更一致推理机制的需求。
• 所提出的282个样本对抗性数据集有效暴露了模型弱点，即使最先进的模型如MCB-att在最具挑战性的样本上准确率也仅达14.54%。
• 当前数据集过于稀疏且存在偏见，导致模型难以学习稳健的视觉表征，提示需要采用密集的、基于主动学习的标注策略。