[論文レビュー] Tell-and-Answer: Towards Explainable Visual Question Answering using Attributes and Captions

Qing Li, Jianlong Fu+3 more|arXiv (Cornell University)|Jan 27, 2018

Multimodal Machine Learning Applications参考文献 35被引用数 13

ひとこと要約

この論文は、画像理解を「説明（属性とキャプションの生成）」と「推論（回答予測）」に分離することで、二段階の説明可能な視覚的質問応答（VQA）フレームワークを提案する。事前学習済みモデルを用いて人間が理解可能な属性とキャプションを中間の説明として生成することで、モデルの意思決定の透明性と誤りの診断が可能となり、説明の質が向上するにつれて性能も向上する。その結果、最先端のVQA性能を達成した。

ABSTRACT

Visual Question Answering (VQA) has attracted attention from both computer vision and natural language processing communities. Most existing approaches adopt the pipeline of representing an image via pre-trained CNNs, and then using the uninterpretable CNN features in conjunction with the question to predict the answer. Although such end-to-end models might report promising performance, they rarely provide any insight, apart from the answer, into the VQA process. In this work, we propose to break up the end-to-end VQA into two steps: explaining and reasoning, in an attempt towards a more explainable VQA by shedding light on the intermediate results between these two steps. To that end, we first extract attributes and generate descriptions as explanations for an image using pre-trained attribute detectors and image captioning models, respectively. Next, a reasoning module utilizes these explanations in place of the image to infer an answer to the question. The advantages of such a breakdown include: (1) the attributes and captions can reflect what the system extracts from the image, thus can provide some explanations for the predicted answer; (2) these intermediate results can help us identify the inabilities of both the image understanding part and the answer inference part when the predicted answer is wrong. We conduct extensive experiments on a popular VQA dataset and dissect all results according to several measurements of the explanation quality. Our system achieves comparable performance with the state-of-the-art, yet with added benefits of explainability and the inherent ability to further improve with higher quality explanations.

研究の動機と目的

• エンドツーエンドのVQAモデルが不透明な予測を生成するという解釈不能性の問題に対処すること。
• 画像理解（説明）と回答推論（推論）を分離することで、誤りの局所化を可能にすること。
• モデルが画像から抽出する内容を反映した人間が読める説明（属性とキャプション）を提供すること。
• モデルの誤りが、画像理解の不足によるものか、推論の誤りによるものかを特定できること、特にデータセットバイアスに起因する場合に有効であること。
• 中間の説明の品質が向上するにつれて性能が向上するスケーラブルなVQAフレームワークを構築すること。

提案手法

• まず、事前学習済みの属性検出器が入力画像から単語レベルの属性（例：'woman', 'phone', 'sitting'）を抽出する。
• 次に、事前学習済みの画像キャプション生成モデルが、オブジェクト同士の関係を捉えた文レベルの記述（例：'woman sitting on a bench'）を生成する。
• これらの属性とキャプションを、LSTMに基づく推論モジュールの入力として用い、質問に対する回答を予測する。
• 推論モジュールは、rawなCNN特徴ではなく生成された説明を用いるため、意味論的レベルでの推論が可能になる。
• 説明に重要な情報が欠落しているか、推論段階で誤って解釈されていないかをチェックすることで、誤りの分析が可能になる。
• 説明の質（例：質問に関連性があるか）とVQA精度の両方を、テストスプリット全体で評価する指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 属性とキャプションを用いた二段階のVQAフレームワークは、性能に悪影響を及げることなく、モデルの解釈性を向上させることができるか？
• RQ2 生成された属性とキャプションの質が、VQA精度にどの程度相関しているか？
• RQ3 このフレームワークは、画像理解の不足による誤りと推論の誤りを区別できるか？
• RQ4 説明が質問と一致しない場合でも、モデルがトレーニングデータセットバイアスに依存しているかどうかを同定・抵抗できるか？
• RQ5 中間の説明の品質を向上させることで、システムの性能を体系的に改善できるか？

主な発見

• 属性とキャプションを組み合わせた完全なVQAモデルは、test-dev精度60.07%、test-standard精度60.07%を達成し、最先端の性能を再現した。
• 文ベースの説明（キャプション）は、単独の属性（語彙ベース）よりも優れた性能を示し、推論における関係的文脈の重要性を示している。
• 高次元特徴と外部データを用いるMCBアンサンブルと同等の性能を達成したが、説明可能性という追加的利益を有していた。
• 説明が質問に関連がなかった場合でも、モデルは一部のケースで「Yes」と非常に高い信頼度で予測をしていた。これは、データセットバイアスに依存していることを示している。
• 説明が正確な場合、誤って予測された回答の80％が推論の誤りに起因していることが正しく特定された。これは、誤りの局所化が効果的に行われていることを示している。
• 属性検出器およびキャプション生成モデルの品質向上が、VQA性能の直接的な向上をもたらすことが示された。今後のスケーラビリティの可能性を示している。