[論文レビュー] Inverse Visual Question Answering: A New Benchmark and VQA Diagnosis Tool

Feng Liu, Tao Xiang+3 more|arXiv (Cornell University)|Mar 16, 2018

Multimodal Machine Learning Applications被引用数 3

ひとこと要約

本稿では、マルチモodal理解を評価するため、画像-答えペアから質問を生成する新しいベンチマークである逆視覚的質疑応答（iVQA）を紹介する。本稿では、多様で文脈的に適切な質問を生成するための変分的iVQAモデルを提案し、VQAモデルの『信念集合』を露呈することで、それらのモデルの誤った信念、特に敵対的および無関係な質問-答えペアを特定する。その結果、現在のVQAモデルは高精度を示すが、標準ベンチマークでは一般化能力に欠け、短絡的戦略に依存していることが明らかになった。

ABSTRACT

In recent years, visual question answering (VQA) has become topical. The premise of VQA's significance as a benchmark in AI, is that both the image and textual question need to be well understood and mutually grounded in order to infer the correct answer. However, current VQA models perhaps `understand' less than initially hoped, and instead master the easier task of exploiting cues given away in the question and biases in the answer distribution. In this paper we propose the inverse problem of VQA (iVQA). The iVQA task is to generate a question that corresponds to a given image and answer pair. We propose a variational iVQA model that can generate diverse, grammatically correct and content correlated questions that match the given answer. Based on this model, we show that iVQA is an interesting benchmark for visuo-linguistic understanding, and a more challenging alternative to VQA because an iVQA model needs to understand the image better to be successful. As a second contribution, we show how to use iVQA in a novel reinforcement learning framework to diagnose any existing VQA model by way of exposing its belief set: the set of question-answer pairs that the VQA model would predict true for a given image. This provides a completely new window into what VQA models `believe' about images. We show that existing VQA models have more erroneous beliefs than previously thought, revealing their intrinsic weaknesses. Suggestions are then made on how to address these weaknesses going forward.

研究の動機と目的

• 現在のVQAベンチマークがデータセットバイアスや短絡的学習に脆弱であるという限界を是正すること。
• 標準VQAよりも深い視覚的・言語的理解を要する、より堅牢でオープンワールドなベンチマークとしてiVQAを提案すること。
• 既存のVQAモデルの信念集合を露呈する診断フレームワークをiVQAを用いて開発し、その隠れた誤解や弱みを明らかにすること。
• VQAモデルの主な失敗モード、例えば一貫性のない信念、無関係な予測、敵対的一般化誤差を同定すること。
• 将来のモデルを標準ベンチマークを超えて評価できる、敵対的例から構成される新しい挑戦的なVQAデータセットを提案すること。

提案手法

• 変分的iVQAモデルを訓練し、画像と答えのペアに条件づけて多様で文法的に正しい、内容に関連する質問を生成する。
• 文脈的一致性と視覚的関連性を保証するため、アテンション機構を備えたシーケンス・ツー・シーケンスアーキテクチャを採用する。
• 事前学習済みVQAモデルにおける与えられた答えの尤度を最大化するように、強化学習フレームワークを用いて質問を生成し、効果的にその信念集合をプローブする。
• VQAモデルの信念集合とは、ある画像に対して正解と予測するすべての質問-答えペアの集合として定義される。
• 視覚的に根拠があるにもかかわらず、VQAモデルが誤って回答する質問を生成することで、敵対的例を収集する。
• 4つのVQAモデルの信念集合から、人間による正解ラベルが付与された282例の敵対的例から構成される、焦点を絞った新規ベンチマークデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 iVQAは、答えバイアスやデータセットのショートカットに脆弱である標準VQAよりも、より堅牢なベンチマークとして機能できるか？
• RQ2 既存のVQAモデルは、画像の内容についてどれほど誤ったまたは一貫性のない信念を持っているのか？ そして、それらは体系的に診断可能か？
• RQ3 VQAモデルの信念集合は、標準データセットの真値アノテーションとどのように比較されるか？ また、最も一般的な誤りの種別は何か？
• RQ4 iVQAによって生成された質問は、標準評価で見過ごされる隠れた弱み、例えば無関係な予測や敵対的予測を露呈できるか？
• RQ5 現在のVQAモデルの主な失敗モードは何か？ そして、将来のモデルがそれらを回避できるように設計するにはどうすればよいか？

主な発見

• 既存のVQAモデルは広範にわたり誤った信念を示しており、新規の敵対的ベンチマークでは40%の精度低下を示しており、標準データセットでは高い性能を示すにもかかわらず、一般化能力が著しく低いことが判明した。
• VQAモデルの信念集合には、顕著な「敵対的」および「無関係」な質問-答えペアが多数含まれており、モデルが視覚的根拠なしに自信を持って予測する傾向があることが明らかになった。
• iVQAモデルは多様で文法的に正しい、視覚的に関連する質問を効果的に生成できており、複雑な視覚的・言語的関係をモデル化する能力を示した。
• 分析により、モデルが『二重思考』（互いに矛盾する信念を同時に持つ）状態にあることが判明し、より一貫性のある推論メカニズムの必要性が浮き彫りになった。
• 282例の提案された敵対的データセットは、モデルの弱みを効果的に露呈しており、最新のモデルでさえも最も困難な例では14.54%の精度にとどまっている。
• 現在のデータセットは疎らでバイアスが強く、モデルが堅牢な視覚的表現を学習できない原因となっている。これにより、密度が高く、アクティブラーニングに基づくアノテーション戦略の導入が求められるようになった。