[论文解读] Generating Natural Language Explanations for Visual Question Answering using Scene Graphs and Visual Attention

Shalini Ghosh, Giedrius Burachas+2 more|arXiv (Cornell University)|Feb 15, 2019

Multimodal Machine Learning Applications被引用 34

一句话总结

本文提出一种多模态方法，利用场景图和视觉注意力为VQA生成自然语言解释，无需额外的标注解释数据，并以 Visual Genome 数据和人工评估进行验证。

ABSTRACT

In this paper, we present a novel approach for the task of eXplainable Question Answering (XQA), i.e., generating natural language (NL) explanations for the Visual Question Answering (VQA) problem. We generate NL explanations comprising of the evidence to support the answer to a question asked to an image using two sources of information: (a) annotations of entities in an image (e.g., object labels, region descriptions, relation phrases) generated from the scene graph of the image, and (b) the attention map generated by a VQA model when answering the question. We show how combining the visual attention map with the NL representation of relevant scene graph entities, carefully selected using a language model, can give reasonable textual explanations without the need of any additional collected data (explanation captions, etc). We run our algorithms on the Visual Genome (VG) dataset and conduct internal user-studies to demonstrate the efficacy of our approach over a strong baseline. We have also released a live web demo showcasing our VQA and textual explanation generation using scene graphs and visual attention.

研究动机与目标

• 通过为 VQA 输出生成文本化的可解释性理由来推动可解释问答。
• 将基于场景图的 NL 表示与 VQA 注意力图结合，以识别用于解释的证据。
• 通过使用现有的场景图注释和注意力引导的选择，避免额外标注的解释数据。
• 通过定性研究和小规模用户研究证明该方法能够产生合理的解释。

提出的方法

• 使用一个 VQA 模型，其图像特征来自 ResNet-152，问题特征来自 GloVe 嵌入的 LSTM。
• 在 VQA 过程中对图像区域生成注意力热力图，以识别相关的场景元素。
• 从场景图实体（对象、关系、区域描述）提取 NL 表示并对其相关性进行评分。
• 按综合得分对场景图实体进行排序，该分数结合注意力对齐、语言模型对 QA 的相关性，以及描述长度/区域面积项。
• 从排名靠前的描述中生成插槽填充式解释，或在区域描述不可用时通过描述性图组件生成。
• 将基于区域的解释与仅 NL 的基线进行比较，并进行小规模的人类评估。

实验结果

研究问题

• RQ1 以场景图和视觉注意力为依据的 NL 解释是否能为 VQA 答案提供有用的正当性依据？
• RQ2 将注意力引导的场景图证据纳入是否能比仅 NL 的方法提高解释质量？
• RQ3 在不同的 VG 场景图中，基于区域描述的解释与基于对象/关系的解释各自的有效性如何？
• RQ4 将视觉和语言信号结合对用户感知的解释相关性有何影响？

主要发现

• 多模态解释在内部小规模研究的人工评估指标上优于 NL-only 基线。
• 使用注意力引导的场景图证据为排名靠前的问答对提供了更相关的解释。
• 顶级解释集合经常包含如“网球运动员击球”或“女性击打网球”等区域描述，展示与答案相关的具体证据。
• 根据用于多模态解释与 NL-only 基线的度量，论文报告在 52-55% 的情况下取得较好结果。
• 与仅语言模型的解释相比，使用多模态方法的 A/B 测试在人类评审中显示更好地与 VQA 决策过程对齐。