[論文レビュー] Compositional Memory for Visual Question Answering

Aiwen Jiang, Fang Wang+2 more|arXiv (Cornell University)|Nov 18, 2015

Multimodal Machine Learning Applications参考文献 14被引用数 37

ひとこと要約

本稿では、視覚的質問応答（VQA）のための長短期記憶（LSTM）フレームワークにおいて、局所的視覚特徴と順序的な言語特徴を動的に融合する構成的メモリ機構を提案する。質問語と画像パッチ間の時間的相互作用を注目メカニズムでモデル化することで、進化する視覚言語的相互作用を表す「エピソード」を生成し、DAQUARデータセットで先行研究のSOTAを6%上回る性能を達成するとともに、MSCOCO-VQAでも優れた性能を示した。

ABSTRACT

Visual Question Answering (VQA) emerges as one of the most fascinating topics in computer vision recently. Many state of the art methods naively use holistic visual features with language features into a Long Short-Term Memory (LSTM) module, neglecting the sophisticated interaction between them. This coarse modeling also blocks the possibilities of exploring finer-grained local features that contribute to the question answering dynamically over time. This paper addresses this fundamental problem by directly modeling the temporal dynamics between language and all possible local image patches. When traversing the question words sequentially, our end-to-end approach explicitly fuses the features associated to the words and the ones available at multiple local patches in an attention mechanism, and further combines the fused information to generate dynamic messages, which we call episode. We then feed the episodes to a standard question answering module together with the contextual visual information and linguistic information. Motivated by recent practices in deep learning, we use auxiliary loss functions during training to improve the performance. Our experiments on two latest public datasets suggest that our method has a superior performance. Notably, on the DARQUAR dataset we advanced the state of the art by 6$\%$, and we also evaluated our approach on the most recent MSCOCO-VQA dataset.

研究の動機と目的

• VQAにおける包括的視覚特徴の限界を解決する。これには、正確な回答に不可欠な細粒度の領域固有情報が捉えられていないことが含まれる。
• 質問処理中に言語と局所的視覚特徴の間で発生する動的で順序的な相互作用をモデル化する。
• 学習可能なメモリ機構を用いて、進化する視覚言語的証拠を明示的に表現することで、VQAにおける推論を向上させる。
• 局所的特徴の統合が、包括的特徴や言語のみのモデルを上回る性能向上に寄与することを示す。

提案手法

• モデルはLSTMを用いて質問語を逐次処理し、時間経過に伴い変化する隠れ状態を維持する。
• 各単語の時点で、現在の単語に関連する画像パッチの重要度を再重み付けする注目メカニズムが適用される。
• 注目された視覚特徴と現在の単語埋め込みが統合され、言語と視覚の間の相互作用を当該時刻にエンコードする動的「エピソード」（メモリ状態）が生成される。
• これらのエピソードは集約され、文脈的な視覚的および言語的特徴と組み合わされ、最終的な答え予測が生成される。
• 注目と推論の正確性を向上させるために、補助損失関数を用いてエンドツーエンドで訓練される。
• 局所的画像パッチは、オブジェクト提案に依存せず、CNNの最終畳み込み層から抽出され、空間的に密なカバーを確保する。

実験結果

リサーチクエスチョン

• RQ1 包括的特徴と比較して、言語と局所的画像領域の間の動的で順序的な相互作用をモデル化することは、VQA性能の向上に寄与するか？
• RQ2 注目ベースのメモリ機構による視覚的および言語的特徴の統合は、VQAにおける推論にどのように影響するか？
• RQ3 局所的視覚的特徴は、複雑な質問と単純な質問の両方において、答えの特定にどの程度寄与するか？
• RQ4 提案された構成的メモリ機構は、言語のみまたは視覚のみの特徴を使用するモデルを上回る性能を示すか？

主な発見

• DAQUARデータセットでは、提案手法が先行SOTAを6%の絶対的向上で上回り、SOTA性能を更新した。
• 完全モデルはWUPS@0.9スコアで29.77を達成し、「言語のみ」（25.77）や「エピソードのみ」（27.43）の変種を顕著に上回った。
• 言語とエピソード特徴の統合により、WUPS@0.9は28.73%から29.77%に上昇し、相乗効果が確認された。
• MSCOCO-VQAのテスト開発セットでは、より大きな答え辞書を用いても52.62%の正確性を達成し、SOTAと同等の性能を示した。
• 複雑な質問タイプ（例：「何」、「どのように」）では正確性が著しく低下しており、複雑なクエリに対する推論の改善の余地があることが示された。
• アブレーションスタディにより、すべての構成要素（言語、エピソード、それらの統合）が不可欠であり、それぞれが性能向上に段階的に寄与することが確認された。