[論文レビュー] Visual Question Answering with Memory-Augmented Networks

Chao Ma, Chunhua Shen+5 more|arXiv (Cornell University)|Jul 17, 2017

Multimodal Machine Learning Applications参考文献 45被引用数 15

ひとこと要約

本稿では、画像質問応答（VQA）のためのメモリ拡張ニューラルネットワークを提案し、内部および外部メモリを活用することで、希少なトレーニング例の長期的知識を保持することにより、まれな回答タイプのパフォーマンスを向上させる。画像とテキストの共同注意と注意ゲート付きメモリアクセスを組み合わせることで、VQA v1.0およびVQA v2.0で最先端の手法を上回り、特に微細な希少概念の理解を要する質問において顕著な性能向上を達成する。

ABSTRACT

In this paper, we exploit a memory-augmented neural network to predict accurate answers to visual questions, even when those answers occur rarely in the training set. The memory network incorporates both internal and external memory blocks and selectively pays attention to each training exemplar. We show that memory-augmented neural networks are able to maintain a relatively long-term memory of scarce training exemplars, which is important for visual question answering due to the heavy-tailed distribution of answers in a general VQA setting. Experimental results on two large-scale benchmark datasets show the favorable performance of the proposed algorithm with a comparison to state of the art.

研究の動機と目的

• 回答の重いテール分布に起因する、低頻度または希少な回答予測の課題に対処すること。
• 頻度が低いためトレーニングから除外されがちな、希少な概念におけるVQAパフォーマンスを向上させること。
• 一般化を向上させるために、希少なトレーニング例を効果的に保持・取得できるメモリ拡張アーキテクチャを開発すること。
• 画像とテキストの共同注意を外部メモリと統合し、希少な視覚的および言語的概念の推論を強化すること。
• 明示的なメモリ機構が、長尾VQAシナリオにおいて標準的なエンドツーエンドディープラーニングモデルを上回ることを示すこと。

提案手法

• 画像と質問の特徴を、関連する画像領域と質問内の重要な語を注目することで、共同注意メカニズムを用いて統合的に埋め込む。
• LSTMベースのコントローラーを用いて、LSTM内部の内部メモリと、トレーニング例の長期的保存を目的とした外部メモリブロックを管理する。
• 外部メモリは、現在の入力と類似するトレーニング例を優先的にアクセスする注目メカニズムを介してアクセスされる。
• メモリネットワークは、外部メモリへの読み取りまたは書き込みを効果的に選択することで、トレーニングで頻度が低いままでも、希少な回答パターンの保持を可能にする。
• 最終的なメモリ拡張LSTM隠れ状態を、答え予測のためのマルチラベル分類器を学習するための画像・質問の統合表現として用いる。
• 事前学習済み単語埋め込みに依存せず、答え分類におけるクロスエントロピー損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張ネットワークは、トレーニングデータに過小に表現されるまれな回答タイプのVQAパフォーマンスを向上させることができるか？
• RQ2 内部メモリと外部メモリの両方を組み合わせることで、VQAにおける希少なトレーニング例の長期的保持がどのように向上するか？
• RQ3 画像とテキスト特徴の共同注意は、微細で希少な視覚的概念の推論をどの程度向上させるか？
• RQ4 提案アーキテクチャは、長尾VQAシナリオにおいて標準的なディープラーニングモデルを上回る性能を示すか？
• RQ5 明示的な再トレーニングなしで、希少な概念を含む分布外の質問に対しても、モデルは一般化可能か？

主な発見

• 提案モデルは、VQA v1.0のテスト-stdスプリットで62.3%のトップ1正解率を達成し、以前の最先端手法を上回った。
• VQA v2.0ベンチマークでは、全体で62.1%の正解率を達成し、MCBを上回り、より複雑なモデルと同等の性能を示した。
• Visual 7W Tellingデータセットでは、スクラッチから学習した場合に59.4%の全体正解率を達成し、Visual 7Wベースラインを上回った。
• 追加のVQA v1.0データでファインチューニングした場合、Visual 7Wで62.8%の全体正解率に達し、優れた一般化性能を示した。
• 定性的な結果では、モデルは「キュウリ」や「消火栓」のような希少な概念を正しく注目している一方で、ベースラインモデルはそのような希少な答えで失敗している。
• モデルは、鳥が立っている物体を特定するような微細な推論を要する質問にも正しく対応できており、正しい領域が視覚的に曖昧であっても同定を達成した。