[論文レビュー] Improving VQA and its Explanations \\ by Comparing Competing Explanations

Jialin Wu, Liyan Chen+1 more|arXiv (Cornell University)|Jun 28, 2020

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文では、各回答候補の対立するテキスト解釈を比較することで、視覚的質問応答（VQA）およびその解釈を向上させる新しいフレームワークを提案する。人間が提供した解釈を用いた共同学習と、取得または生成された解釈を用いた回答の信頼度の再重み付けにより、推論能力が向上し、ショートカット学習が軽減され、ベースラインモデルより1.1%の向上を達成した。これはVQA-Xデータセットで最先端の性能を発揮した。

ABSTRACT

Most recent state-of-the-art Visual Question Answering (VQA) systems are opaque black boxes that are only trained to fit the answer distribution given the question and visual content. As a result, these systems frequently take shortcuts, focusing on simple visual concepts or question priors. This phenomenon becomes more problematic as the questions become complex that requires more reasoning and commonsense knowledge. To address this issue, we present a novel framework that uses explanations for competing answers to help VQA systems select the correct answer. By training on human textual explanations, our framework builds better representations for the questions and visual content, and then reweights confidences in the answer candidates using either generated or retrieved explanations from the training set. We evaluate our framework on the VQA-X dataset, which has more difficult questions with human explanations, achieving new state-of-the-art results on both VQA and its explanations.

研究の動機と目的

• VQAシステムが回答の事前確率や単純な視覚的概念に注目するなど、短絡的な学習を行う問題に対処すること。
• 共通の知識を必要とする複雑な質問に対して、テキスト解釈を監視信号として活用することでVQA性能を向上させること。
• 代替の回答に対する対立する解釈を条件として用いることで、解釈の質を向上させること。
• 回答予測、解釈の取得、解釈の生成を同時に最適化するエンド・ツー・エンドの学習を可能にすること。
• 人間の推論パターンと整合する根拠を提供することで、モデルの透明性と信頼性を高めること。

提案手法

• 質問、画像、解釈を符号化するためのデュアルブランチネットワークを用い、共同学習に適した共有表現を構築する。
• 正解の回答の信頼度を、それとは対立する回答の解釈を用いて比較する検証損失を導入する。
• 解釈の質と関連性に基づいた学習済みの検証スコアを用いて、元のVQA予測を再重み付けする。
• 各回答候補について解釈を取得または生成し、対照学習のメカニズムを用いて最終予測を精緻化する。
• 任意の微分可能なVQAモデル（例：Up-Down や LXMERT）と統合可能なエンド・ツー・エンドで学習可能な手法である。
• 対立する回答のための取得済み解釈を条件として用いることで、解釈生成の忠実性と一貫性が向上する。

実験結果

リサーチクエスチョン

• RQ1 対立するテキスト解釈を比較することで、推論を要する複雑な質問においてVQA性能が向上するか？
• RQ2 複数の回答候補の解釈を用いることで、回答の事前確率や視覚的キーワードに依存するショートカット学習が軽減されるか？
• RQ3 取得または生成された解釈が、回答予測と解釈の質の両方を向上させる有効な監視信号として機能するか？
• RQ4 解釈の品質が最終的なVQA性能に与える影響はどの程度で、取得された解釈は人間がアノテートした解釈にどの程度近づけるか？
• RQ5 対立する回答の解釈を条件として用いることで、解釈生成が向上するか？

主な発見

• 提案手法はVQA-Xデータセットで最先端の性能を達成し、対立する解釈を用いた再重み付けにより、最良のベースラインより1.1%の向上を達成した。
• アブレーションスタディでは、再重み付けを除いても、解釈に基づく監視による表現の改善により3.6%の性能向上が確認された。
• 人間のオラクル解釈の代わりに取得された解釈を使用しても、正確度の低下はたった0.6%にとどまり、優れた近似品質を示している。
• 解釈特徴とVQA予測を一致させる検証損失を最小化することで、モデルはより良い視覚的および質問表現を学習する。
• 対立する回答の解釈を条件として用いることで、解釈生成が向上し、自動評価および人的評価の両方で従来の最先端手法を上回った。
• 検証損失の正則化部を用いることで、質問や視覚的事前確率への過剰な依存を防ぎ、ショートカット学習が有意に軽減された。