[論文レビュー] Bilinear Graph Networks for Visual Question Answering

Dalu Guo, Chang Xu+1 more|arXiv (Cornell University)|Jul 23, 2019

Multimodal Machine Learning Applications参考文献 35被引用数 6

ひとこと要約

本論文は、質問内の語と視覚的対象間の相関関係を2つの専用グラフでモデル化することにより、視覚的質問応答（VQA）のための双一次グラフネットワーク（BGNs）を提案する。画像グラフは質問語と画像対象を統合し、質問グラフは統合埋め込み間の文脈情報を伝搬する。この手法は、拡張されたクロスモodalおよびイントラモダリな注目メカニズムにより、複雑で多段階の質問に対する優れた推論を実現し、VQA v2.0 test-stdセットで72.41%の精度を達成し、最先端の性能を示した。

ABSTRACT

This paper revisits the bilinear attention networks in the visual question answering task from a graph perspective. The classical bilinear attention networks build a bilinear attention map to extract the joint representation of words in the question and objects in the image but lack fully exploring the relationship between words for complex reasoning. In contrast, we develop bilinear graph networks to model the context of the joint embeddings of words and objects. Two kinds of graphs are investigated, namely image-graph and question-graph. The image-graph transfers features of the detected objects to their related query words, enabling the output nodes to have both semantic and factual information. The question-graph exchanges information between these output nodes from image-graph to amplify the implicit yet important relationship between objects. These two kinds of graphs cooperate with each other, and thus our resulting model can model the relationship and dependency between objects, which leads to the realization of multi-step reasoning. Experimental results on the VQA v2.0 validation dataset demonstrate the ability of our method to handle the complex questions. On the test-std set, our best single model achieves state-of-the-art performance, boosting the overall accuracy to 72.41%.

研究の動機と目的

• 双一次注目ネットワークが複雑で構成的な推論を捉えることができない、質問語間の内部関係をモデル化できないという限界を解消すること。
• 質問の語と視覚的対象との間の文脈モデリングの欠如が、VQAにおける多段階推論を妨げることを克服すること。
• 質問語と画像対象の統合埋め込み間の依存関係を明示的にモデル化するグラフベースのメカニズムを開発すること。
• カウント、空間的推論、抽象的シーン解釈など、関係的理解を要する長大で複雑な質問に対するより良いパフォーマンスを実現すること。
• マルチモーダル表現学習におけるグラフベースのメッセージパッシングの有効性を視覚的質問応答において示すこと。

提案手法

• 質問内の各語を画像内の関連する検出対象にリンクする画像グラフを構築し、意味的および視覚的情報を組み込んだ統合埋め込みを生成する。
• 質問語に基づいて統合埋め込み間でメッセージパッシングを実行する質問グラフを設計し、反復的な文脈交換により対象間の暗黙的な関係を強化する。
• 質問トークンと画像領域間の初期特徴相互作用メカニズムとして双一次注目マップを用い、グラフモジュールの入力とする。
• 画像グラフおよび質問グラフをスタック形式で複数層にわたって適用し、より深い推論と層間での表現の段階的精錬を可能にする。
• BERTのような事前学習済み言語モデルを統合し、質問エンコーディングをさらに強化し、複雑な言語的推論のパフォーマンスを向上させる。
• 交差エントロピー損失を用いてエンドツーエンドでモデルを学習し、グラフ層が動的注目と文脈伝搬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのメッセージパッシングは、標準的な双一次注目メカニズムを上回る視覚的質問応答における推論を改善できるか？
• RQ2 画像グラフおよび質問グラフのコンponentsは、視覚的対象と質問語間の複雑な関係をどのようにモデル化しているか？
• RQ3 多層グラフネットワークは、多段階推論を要する長大で構成的な質問におけるパフォーマンスをどの程度向上させるか？
• RQ4 BERTのような事前学習済み言語モデルを統合することで、双一次グラフネットワークの推論能力がさらに向上するか？
• RQ5 提案されたグラフアーキテクチャは、画像内での離れたまたは重複する対象間の暗黙的な関係を効果的に捉えることができるか？

主な発見

• VQA v2.0の検証セットにおいて、1層のBGNsモデルは双一次注目ネットワーク（BAN）よりも0.62%の精度向上を達成し、より深いモデルでは複雑な質問に対して1.4%の向上を示した。
• BERTの統合により、さらに1.5%の精度向上が得られ、事前学習済み言語モデルとグラフベースの推論の相乗効果が実証された。
• VQA v2.0 test-stdセットにおいて、最良の単一モデル（BGNs+BERT）は、72.41%という最先端の全体精度を達成し、MCAN、MLIN、DFAFを含む先行手法を上回った。
• アブレーションスタディにより、質問グラフが空間的、数え上げ、関係的質問における推論を顕著に向上させていることが確認された。例えば、端縁にある対象を特定する際や、類似したアイテムを数える際の精度向上が顕著であった。
• 定性的分析により、モデルがグラフ層を段階的に通過するにつれて予測が徐々に精錬されていることが示された。具体的には、「りんご」のような対象が左端に位置することを正しく特定するのは、深い層でのみ実現されており、効果的な多段階推論が行われていることが示された。
• モデルは、重複する対象（例：2匹のヒツジ）や抽象的シーン（例：オリンピックを表す5つの円）を効果的に区別できており、複雑な視覚的文脈においても高い頑健性を示した。