[論文レビュー] Generating Question Relevant Captions to Aid Visual Question Answering

Jialin Wu, Zeyuan Hu+1 more|arXiv (Cornell University)|Jun 3, 2019

Multimodal Machine Learning Applications参考文献 36被引用数 7

ひとこと要約

本稿では、視覚的質問応答（VQA）のパフォーマンスを向上させるために、質問に関連するキャプションを生成する共同学習フレームワークを提案する。特定の質問に対する回答に最も役立つキャプションを勾配ベースの手法で同定することで、キャプションに依存する注目メカニズムを用い、1つのモデルでVQA v2テスト標準セットにおいて68.4%の最先端性能を達成した。

ABSTRACT

Visual question answering (VQA) and image captioning require a shared body of general knowledge connecting language and vision. We present a novel approach to improve VQA performance that exploits this connection by jointly generating captions that are targeted to help answer a specific visual question. The model is trained using an existing caption dataset by automatically determining question-relevant captions using an online gradient-based method. Experimental results on the VQA v2 challenge demonstrates that our approach obtains state-of-the-art VQA performance (e.g. 68.4% on the Test-standard set using a single model) by simultaneously generating question-relevant captions.

研究の動機と目的

• 特定の質問に関連するテキスト的画像記述を活用することで、VQAのパフォーマンスを向上させること。
• 一般キャプションが質問固有の視覚的詳細を捉えきれないという限界を、ターゲットを絞った記述の生成によって解消すること。
• 視覚的特徴にのみ依存するのを減らし、質問バイアスを軽減するために、キャプションベースの知識を統合すること。
• 勾配ベースの関連性スコアリングを通じて、キャプション生成とVQAの目的関数を統合する訓練手法を開発すること。
• キャプションから得られる埋め込みを用いて、質問に関連する画像領域に注目を集中させる注目メカニズムを強化すること。

提案手法

• キャプション生成とVQA損失関数の勾配の内積に基づき、各質問に対して最も関連性の高いゴールスタンダードキャプションを貪欲アルゴリズムで選択する。
• 質問に関連するキャプションを符号化し、VQAモデルへの回答予測に統合するキャプション埋め込みモジュールを導入する。
• 新しいキャプションに依存する注目調整（CAA）機構により、キャプション埋め込みを用いてトップダウン型の視覚的注目重みを修正し、関連する画像領域の局在化を向上させる。
• 画像-キャプションデータセットのみを用いて、追加のアノテーションが不要なエンドツーエンドの訓練を実施し、キャプションの関連性とVQAの正確性の両方を最適化する。
• キャプション生成とVQAのタスク間で共通する最適化方向を活用することで、生成されたキャプションが下流の回答予測を改善することを保証する。
• 人間がアノテートしたキャプションと自動生成された質問に関連するキャプションの両方を用いて、VQA v2データセット上でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 質問に関連するキャプションの生成は、一般キャプションを使用する場合よりもVQAパフォーマンスを向上させることができるか？
• RQ2 キャプション生成を、一般的な記述を生成するのではなく、特定のVQAタスクを支援するように最適化することは可能か？
• RQ3 キャプションから得られる埋め込みは、人間がアノテートした重要な領域とどれほど注目メカニズムの整合性を高めるか？
• RQ4 キャプション生成とVQAの目的関数を統合する共同訓練戦略は、一般化性能の向上と質問バイアスの低減に寄与するか？
• RQ5 キャプションに依存する注目調整は、質問に答えるために重要な画像領域に注目する能力を向上させるか？

主な発見

• 提案モデルは、1つのモデルを用いてVQA v2テスト標準セットで68.4%の正確性を達成し、新たな最先端性能を樹立した。
• ゴールスタンダードの人間アノテートキャプションを用いることで、バリデーションセットでの正確性が63.2%から67.1%に向上し、質問に関連するキャプション生成の有効性を示した。
• 自動生成された質問に関連するキャプションでさえも、バリデーションセットで65.8%の正確性を達成し、本手法のロバスト性を示した。
• キャプションに依存する注目調整（CAA）により、モデルの注目度と人間アノテート注目度を比較した際の地球移動距離（EMD）が2.38から2.30に低下し、人間の注目とより整合性があることを示した。
• ケーススタディにより、CAAの使用により、青いサンビサールにまよわされず、黄色のサーフボードに赤い装飾がある領域を正しく特定できるようになった。
• 自動生成キャプションを用いた場合、ベースラインのUp-Downモデルに比べてテスト標準セットで5.2ポイントの正確性向上を達成した。