[論文レビュー] Structured Triplet Learning with POS-tag Guided Attention for Visual Question Answering

Zhe Wang, Xiaoyi Liu+5 more|arXiv (Cornell University)|Jan 24, 2018

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

本論文は、視覚的質問応答のための構造的トリプレット学習フレームワークを提案し、品詞（POS）タグを用いた注目メカニズムを導入することで、意味的に重要な語に注目し、画像領域、質問、回答を同時に注目することにより、言語と視覚の相互作用を強化する。この手法により、Visual7Wでは68.2%、VQA Real Multiple Choiceのテスト標準スプリットでは69.6%という最先端の性能を達成した。

ABSTRACT

Visual question answering (VQA) is of significant interest due to its potential to be a strong test of image understanding systems and to probe the connection between language and vision. Despite much recent progress, general VQA is far from a solved problem. In this paper, we focus on the VQA multiple-choice task, and provide some good practices for designing an effective VQA model that can capture language-vision interactions and perform joint reasoning. We explore mechanisms of incorporating part-of-speech (POS) tag guided attention, convolutional n-grams, triplet attention interactions between the image, question and candidate answer, and structured learning for triplets based on image-question pairs. We evaluate our models on two popular datasets: Visual7W and VQA Real Multiple Choice. Our final model achieves the state-of-the-art performance of 68.2% on Visual7W, and a very competitive performance of 69.6% on the test-standard split of VQA Real Multiple Choice.

研究の動機と目的

• 画像-質問-回答のトリプレットを構造的にモデリングすることで、視覚的質問応答の言語-視覚相互作用を向上させること。
• 質問や回答に含まれるノイズや無関係な語の影響を軽減するため、品詞（POS）タグを用いて注目メカニズムをガイドすること。
• 構造的トリプレット損失を用いたハードネガティブサンプルのマイニングにより、モデルの汎化能力と識別能力を向上させること。
• 視覚特徴、質問語、候補回答語を同時に推論できる統合的注目メカニズムを構築すること。
• 外部の事前学習データやアンサンブル手法に依存せずに、標準的なVQAベンチマークで最先端の性能を達成すること。

提案手法

• 質問や回答における意味的に重要な語（名詞、動詞、形容詞など）を強調し、低重要度の語（例：'and'、'or'）を抑制するため、POSタグを用いた注目メカニズムを導入する。
• 質問や回答の局所的フレーズレベルの意味を捉えるために、畳み込みn-gramモデルを採用し、単語レベルの埋め込みを超えた文の表現を向上させる。
• 質問／回答の語と画像領域との間の類似度スコアを、それらのベクトル表現のドット積を用いて計算するトリプレット注目メカニズムを設計する。
• 質問と回答からの注目係数を要素ごとのプーリングと正規化処理し、線形結合によって視覚特徴を動的に重みづけする。
• マージンに基づくハードネガティブサンプルマイニング戦略を用いた構造的トリプレット損失を実装し、同じ（画像、質問）ペアを用いて正しい回答と誤った回答を比較する。
• 画像特徴抽出に残差ネットワーク（ResNet）を用い、得られた特徴と学習された質問・回答表現を統合的な推論フレームワークで統合する。

実験結果

リサーチクエスチョン

• RQ1 品詞タグは、視覚的質問応答モデルの注目メカニズムにどのように寄与するか？
• RQ2 トリプレット注目メカニズムによって、質問・回答・画像特徴を統合的にモデリングすることの影響は何か？
• RQ3 ハードネガティブサンプルマイニングを伴う構造的トリプレット学習は、複数選択型VQAにおけるモデルの汎化能力と性能を向上させられるか？
• RQ4 局所的n-gramモデリングの統合は、VQAにおける文レベルの理解をどのように向上させるか？
• RQ5 1つのアンサンブルでないモデルが、外部の事前学習データに依存せずに、Visual7WおよびVQAベンチマークで最先端の性能を達成できる範囲はどの程度か？

主な発見

• 提案手法は、Visual7Wベンチマークで68.2%という最先端の精度を達成し、前回のSOTAを1.1ポイント上回った。
• VQA Real Multiple Choiceデータセットのテスト標準スプリットでは、69.6%の精度を達成し、比較対象のすべての単一モデルベースラインを上回った。
• 可視化結果から、POSガイドド注目がモデルが関連のある画像領域や意味的に重要な語に注目するのを助け、不要な語やノイズ語への注目を低減していることが確認された。
• トリプレット注目メカニズムは、質問語・回答語と対応する視覚的領域を適切に一致させ、共同推論を向上させるとともに、誤ったまたは曖昧な画像領域への注目を低減した。
• 失敗事例では、正しい回答と誤った回答が類似した注目パターンを示す場合、注目が誤って誘導されることがあることが示され、注目一致のさらなる精錬が求められることがわかった。
• マージンに基づくハードネガティブサンプルマイニングを伴う構造的トリプレット損失は、標準的なクロスエントロピー学習に比べてモデルの識別能力を顕著に向上させたことが、性能向上の観点から裏付けられた。