[论文解读] Tell-and-Answer: Towards Explainable Visual Question Answering using Attributes and Captions

Qing Li, Jianlong Fu+3 more|arXiv (Cornell University)|Jan 27, 2018

Multimodal Machine Learning Applications参考文献 35被引用 13

一句话总结

本文提出了一种两阶段可解释视觉问答（VQA）框架，将图像理解解耦为‘解释’（属性和字幕生成）与‘推理’（答案预测）两个阶段。通过使用预训练模型生成人类可理解的属性和字幕作为中间解释，该方法在实现最先进VQA性能的同时，实现了错误诊断与模型决策的透明化，且随着解释质量的提升，性能亦随之提高。

ABSTRACT

Visual Question Answering (VQA) has attracted attention from both computer vision and natural language processing communities. Most existing approaches adopt the pipeline of representing an image via pre-trained CNNs, and then using the uninterpretable CNN features in conjunction with the question to predict the answer. Although such end-to-end models might report promising performance, they rarely provide any insight, apart from the answer, into the VQA process. In this work, we propose to break up the end-to-end VQA into two steps: explaining and reasoning, in an attempt towards a more explainable VQA by shedding light on the intermediate results between these two steps. To that end, we first extract attributes and generate descriptions as explanations for an image using pre-trained attribute detectors and image captioning models, respectively. Next, a reasoning module utilizes these explanations in place of the image to infer an answer to the question. The advantages of such a breakdown include: (1) the attributes and captions can reflect what the system extracts from the image, thus can provide some explanations for the predicted answer; (2) these intermediate results can help us identify the inabilities of both the image understanding part and the answer inference part when the predicted answer is wrong. We conduct extensive experiments on a popular VQA dataset and dissect all results according to several measurements of the explanation quality. Our system achieves comparable performance with the state-of-the-art, yet with added benefits of explainability and the inherent ability to further improve with higher quality explanations.

研究动机与目标

• 解决端到端VQA模型缺乏可解释性、导致预测结果难以解释的问题。
• 通过将图像理解（解释）与答案推理（推理）分离，实现错误定位。
• 提供人类可读的解释（属性和字幕），以反映模型从图像中提取的内容。
• 检测模型错误是否源于图像理解不佳或推理过程有误，尤其是由于数据集偏差导致的问题。
• 构建一个可扩展的VQA框架，使性能随着中间解释质量的提升而系统性提升。

提出的方法

• 首先，使用预训练的属性检测器从输入图像中提取词级别属性（例如，'woman', 'phone', 'sitting'）。
• 其次，使用预训练的图像字幕模型生成句子级别的描述（例如，'woman sitting on a bench'），以捕捉物体之间的关系。
• 随后，将这些属性和字幕作为输入，输入到基于LSTM的推理模块中，以预测问题的答案。
• 推理模块利用生成的解释而非原始CNN特征进行推理，从而实现语义层面的推理。
• 该框架可通过检查关键信息是否在解释中缺失或在推理过程中被错误推断，实现错误分析。
• 性能通过解释质量指标（例如，与问题的相关性）以及在测试集划分上的VQA准确率进行评估。

实验结果

研究问题

• RQ1 使用属性和字幕的两阶段VQA框架是否能在不牺牲性能的前提下提升模型可解释性？
• RQ2 生成的属性和字幕的质量在多大程度上与VQA准确率相关？
• RQ3 该框架能否区分由图像理解不佳或推理过程有误导致的错误？
• RQ4 当解释与问题不一致时，系统是否能检测并抵抗对训练集偏差的依赖？
• RQ5 通过提升中间解释的质量，是否能系统性地提升系统的性能？

主要发现

• 完整VQA模型（结合属性和字幕）在test-dev上的准确率为60.07%，在test-standard上的准确率也为60.07%，达到最先进性能。
• 基于句子的解释（字幕）优于仅基于词的解释（仅属性），表明关系上下文对推理至关重要。
• 该框架在性能上与MCB-ensemble相当（后者使用高维特征和外部数据），但额外具备可解释性优势。
• 当解释与问题无关时，模型在某些情况下仍以高置信度预测'Yes'，揭示了其对数据集偏差的依赖。
• 当解释准确时，系统正确识别出80%的错误预测答案源于推理缺陷，凸显了有效的错误定位能力。
• 该框架表明，提升属性检测器和字幕生成模型的质量将直接提升VQA性能，为未来可扩展性提供了可能。