[论文解读] Interpreting Visual Question Answering Models.

Yash Goyal, Akrit Mohapatra+2 more|arXiv (Cornell University)|Aug 31, 2016

Multimodal Machine Learning Applications参考文献 16被引用 22

一句话总结

本文提出一种方法，通过使用引导反向传播和遮挡技术，识别视觉问答（VQA）模型关注的图像区域和问题词汇，以解释VQA模型。主要贡献是一种双重可视化方法，为模型注意力提供定性和定量洞察，从而增强VQA预测的可解释性。

ABSTRACT

Deep neural networks have shown striking progress and obtained state-of-the-art results in many AI research fields in the recent years. However, it is often unsatisfying to not know why they predict what they do. In this paper, we address the problem of interpreting Visual Question Answering (VQA) models. Specifically, we are interested in finding what part of the input (pixels in images or words in questions) the VQA model focuses on while answering the question. To tackle this problem, we use two visualization techniques -- guided backpropagation and occlusion -- to find important words in the question and important regions in the image. We then present qualitative and quantitative analyses of these importance maps.

研究动机与目标

• 解决基于深度神经网络的VQA模型可解释性不足的问题。
• 识别输入中对模型预测贡献最大的部分，特别是图像像素和问题词汇。
• 开发并评估揭示VQA模型注意力机制的可视化技术。
• 通过重要性图生成并分析模型可解释性的定性和定量指标。

提出的方法

• 应用引导反向传播生成类激活图，以突出显示重要的图像区域和问题词汇。
• 使用遮挡技术系统性地遮盖图像区域，并测量预测变化，以识别显著的视觉特征。
• 结合两种技术生成互补的重要性图，以实现稳健的解释。
• 生成并分析重要性图，以评估模型对特定输入组件的关注程度。
• 通过定性检查和定量指标评估可视化结果的一致性和可靠性。

实验结果

研究问题

• RQ1 对于给定的问题，哪些图像区域对VQA模型的预测最具影响力？
• RQ2 问题中的哪些词汇对模型决策过程最为关键？
• RQ3 引导反向传播与遮挡技术在揭示模型注意力模式方面有何异同？
• RQ4 可视化的重要性图在多大程度上与人类对相关图像和文本特征的直觉一致？

主要发现

• 引导反向传播成功突出了与模型预测相关的语义上相关的图像区域和问题词汇。
• 遮挡分析识别出移除后显著降低预测置信度的特定图像区域，表明模型对这些区域的强依赖性。
• 结合两种技术可提供比单一方法更稳健、更具可解释性的洞察。
• 这些方法生成的重要性图在多个示例中表现出一致的模式，支持其在解释VQA模型行为方面的可靠性。