[論文レビュー] Zero-Shot Visual Question Answering

Damien Teney, Anton van den Hengel|arXiv (Cornell University)|Nov 17, 2016

Multimodal Machine Learning Applications参考文献 19被引用数 58

ひとこと要約

本論文は、テスト時の質問にトレーニング中に登場しなかった語が含まれるという新しい評価設定であるゼロショット視覚質疑応答（ZS-VQA）を導入し、現在のVQAモデルがデータセットバイアスに依存しているため、一般化能力に欠けることが露呈される。著者らは、事前学習済み単語埋め込み、意味的オブジェクト埋め込み、テスト時エキスナールリトリーブ、順序に敏感な特徴相互作用、データ拡張を用いた戦略を提案・評価し、標準的およびゼロショット設定の両方で最先端の性能を達成した。

ABSTRACT

Part of the appeal of Visual Question Answering (VQA) is its promise to answer new questions about previously unseen images. Most current methods demand training questions that illustrate every possible concept, and will therefore never achieve this capability, since the volume of required training data would be prohibitive. Answering general questions about images requires methods capable of Zero-Shot VQA, that is, methods able to answer questions beyond the scope of the training questions. We propose a new evaluation protocol for VQA methods which measures their ability to perform Zero-Shot VQA, and in doing so highlights significant practical deficiencies of current approaches, some of which are masked by the biases in current datasets. We propose and evaluate several strategies for achieving Zero-Shot VQA, including methods based on pretrained word embeddings, object classifiers with semantic embeddings, and test-time retrieval of example images. Our extensive experiments are intended to serve as baselines for Zero-Shot VQA, and they also achieve state-of-the-art performance in the standard VQA evaluation setting.

研究の動機と目的

• トレーニングデータに登場しなかった語がテスト質問に含まれる新しいZS-VQA評価設定を定義・評価し、現在のVQAモデルの一般化失敗を露呈すること。
• 既存のVQA手法が、頻出する回答パターンといったデータセットバイアスに過剰に依存していること、これが真の視覚的理解能力の欠如を隠していることを強調すること。
• 事前学習済み表現やテスト時における視覚的エキスナールのリトリーブを活用することで、ゼロショット一般化を向上させる戦略を開発・評価すること。
• ZS-VQAにおける性能向上が、標準的VQAベンチマークでも最先端の性能を達成することを示し、提案手法の広範な有用性を検証すること。

提案手法

• テスト質問または回答に未学習語が含まれるインスタンスを分離できるよう、Visual7Wデータセットを再構成し、新たなトレーニングおよびテスト分割を生成した。
• 事前学習済み単語埋め込みと、YOLOによるオブジェクト検出の意味的埋め込みを用いて、未学習の概念への一般化を向上させた。
• 画像と質問特徴の間の相互作用順序を明示的にモデル化する順序埋め込みを導入し、適合性学習を改善した。
• トレーニング中に合成された誤りのある回答ペairを生成することでデータ拡張を実施し、モデルのロバスト性と一般化能力を向上させた。
• テスト時における視覚的エキスナール（画像検索による）のリトリーブを用いて、未学習語に対する文脈的支援を提供し、質問および回答の両方の視覚的埋め込みを用いた。
• 意味的埋め込み、エキスナールリトリーブ、順序埋め込み、データ拡張の複数戦略を統合したモデルを構築し、最適なパフォーマンスを達成した。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時に一度も登場しなかった語が含まれる質問に対して、現在のVQAモデルはどの程度の性能を示すのか。これはモデルの一般化能力に何を露呈するのか？
• RQ2 頻出する回答パターンといったデータセットバイアスは、真の視覚的理解能力が欠如しているにもかかわらず、標準ベンチマークで高い性能を達成するのにどの程度寄与しているのか？
• RQ3 事前学習済み単語埋め込み、オブジェクト検出、またはテスト時リトリーブされたエキスナールといった補助情報は、ゼロショットVQA性能を向上させることができるか？
• RQ4 画像と質問表現の間の順序に敏感な特徴相互作用を組み込むことで、対称的相互作用を超えた一般化が向上するのか？
• RQ5 合成された誤りのある回答ペアを用いたデータ拡張は、モデルのロバスト性およびゼロショット一般化を向上させることができるか？

主な発見

• 提案されたZS-VQA評価設定は、未学習語がテスト質問に現れた際の性能低下が顕著であるため、現在のVQAモデルの一般化能力の欠如を効果的に露呈する。
• テスト時における視覚的エキスナールリトリーブは、特に質問および回答の両方の視覚的埋め込みが使用された場合、ZS-VQA性能を顕著に向上させ、リトリーブ品質に相関する向上が見られた。
• 順序埋め込みは対称的特徴相互作用を上回る性能を示し、順序が逆転すると性能が著しく低下したため、構造的モデリングの重要性が確認された。
• 合成された誤りのある回答ペアによるデータ拡張は、測定可能な向上をもたらし、特にZS設定において、未学習の回答分布への一般化能力の向上が示された。
• すべての提案戦略を統合したモデルは、標準的Visual7Wベンチマークおよび新しいZS-VQA分割の両方で最先端のパフォーマンスを達成し、本手法の有効性を示した。
• 訓練データが減少するに従い、特にZS設定で性能が滑らかに低下する傾向を示し、データ不足に強く、一般化能力に優れたロバスト性があることが示された。