[論文レビュー] Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering

Yash Goyal, Tejas Khot+3 more|arXiv (Cornell University)|Dec 2, 2016

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

本稿では、同一の質問に対して異なる答えを導く補足的画像ペアを収集することで、バランスの取れたVQAデータセットを提案する。このデータセット上で評価された最先端のVQAモデルは顕著な性能低下を示し、言語的バイアスを利用していることが確認される。また、予測の反例を説明する解釈可能な新規モデルの構築も可能となる。

ABSTRACT

Problems at the intersection of vision and language are of significant importance both as challenging research questions and for the rich set of applications they enable. However, inherent structure in our world and bias in our language tend to be a simpler signal for learning than visual modalities, resulting in models that ignore visual information, leading to an inflated sense of their capability. We propose to counter these language priors for the task of Visual Question Answering (VQA) and make vision (the V in VQA) matter! Specifically, we balance the popular VQA dataset by collecting complementary images such that every question in our balanced dataset is associated with not just a single image, but rather a pair of similar images that result in two different answers to the question. Our dataset is by construction more balanced than the original VQA dataset and has approximately twice the number of image-question pairs. Our complete balanced dataset is publicly available at www.visualqa.org as part of the 2nd iteration of the Visual Question Answering Dataset and Challenge (VQA v2.0). We further benchmark a number of state-of-art VQA models on our balanced dataset. All models perform significantly worse on our balanced dataset, suggesting that these models have indeed learned to exploit language priors. This finding provides the first concrete empirical evidence for what seems to be a qualitative sense among practitioners. Finally, our data collection protocol for identifying complementary images enables us to develop a novel interpretable model, which in addition to providing an answer to the given (image, question) pair, also provides a counter-example based explanation. Specifically, it identifies an image that is similar to the original image, but it believes has a different answer to the same question. This can help in building trust for machines among their users.

研究の動機と目的

• 視覚的コンテンツを理解せずに高精度を達成してしまう、視覚質問応答（VQA）における言語的バイアスの広範な問題に対処すること。
• 意味的に類似したが、同じ質問に対して異なる答えを導く画像ペアを収集することで、バランスの取れたVQAデータセットを構築し、言語的手がかりへの依存を減らすこと。
• 新規のバランスの取れたデータセット上で評価した際の性能低下を実証的に示すことにより、最先端のVQAモデルが元のデータセットで言語的バイアスを利用していることを実証すること。
• 予測に加えて、答えが異なる可能性がある反例画像を提供する、新たな解釈可能なVQAモデルを設計し、モデルの信頼性を高めること。

提案手法

• 元のVQAデータセットに含まれる各（画像、質問、回答）トリプルに対して、人間のアノテーターが、視覚的に類似しているが同じ質問に対して異なる答えを導く補足的画像を特定する。
• 補足的画像は、VGGNetのfc7特徴空間における意味的類似度に基づいて選択され、詳細な視覚的理解を要する微細な視覚的差異を保証する。
• 得られたバランスの取れたデータセットには、約200万枚のCOCO画像を用いて約110万の（画像、質問）ペアが含まれており、約1300万の関連する回答が付与されており、元のVQAデータセットの2倍のサイズである。
• 予測された答えに加え、異なる答えを導く類似画像のリストを出力するように、学習された説明ヘッドを用いて、新たな解釈可能なVQAモデルを訓練する。
• モデルの説明品質は、人間がアノテートした反例と比較して、Recall@5を用いて評価される。
• ベースライン手法には、ランダム選択、距離に基づくソート（近隣探索）、およびVQAモデルの予測確率を用いて候補画像を順序付けする手法が含まれる。

実験結果

リサーチクエスチョン

• RQ1 意味的に類似した画像に対して同じ質問が異なる答えを導くようなデータセットを構築することで、VQAにおける言語的バイアスを実証的に示すことができるか？
• RQ2 最先端のVQAモデルが、バランスの取れたデータセット上で性能が著しく低下することを測定することで、言語的パターンに依存している程度はどの程度か？
• RQ3 予測の反例に基づく説明を提供する解釈可能なVQAモデルを設計できるか？そのような説明により、ユーザーの信頼性とモデルの透明性が向上するか？
• RQ4 人間がアノテートした反例と比較して、モデルが妥当な反例をどれだけ効果的に特定できるか？また、どのベースライン手法が最も優れているか？

主な発見

• テストされたすべての最先端VQAモデルが、バランスの取れたVQAデータセット上で顕著な性能低下を示し、元のデータセットで言語的バイアスを利用していることが実証的根拠となった。
• バランスの取れたデータセットにより、質問ごとの回答分布P(A|Q)のエントロピーが上昇し、言語的手がかりが信頼性が低くなるようにすることで、言語バイアスが低減された。
• 提案された解釈可能なモデルは、人間がアノテートした反例を特定する際、Recall@5で43.39%を達成し、ランダムベースライン（20.79%）およびVQAモデルベースライン（21.65%）を上回った。
• 距離ベースライン（特徴空間の類似度で順序付け）は、Recall@5で42.84%を達成しており、視覚的類似度自体は強力な信号であるが、意味的な反例を特定するには不十分であることが示された。
• 提案モデルと距離ベースラインの性能差は、単なる特徴距離を越えた視覚的理解が、正確な反例予測に不可欠であることを示唆している。
• バランスの取れたデータセット（VQA v2.0）の提供により、VQAモデルのより信頼性の高いベンチマーク評価が可能となり、言語的パターン照合ではなく真の視覚的理解の分野での進歩が促進される。