[論文レビュー] Multimodal Dual Attention Memory for Video Story Question Answering

Kyung-Min Kim, Seong-Ho Choi+2 more|arXiv (Cornell University)|Sep 21, 2018

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、動画ストーリーの質問応答のためのマルチモーダルデュアルアテンションメモリ（MDAM）を提案する。MDAMは、動画フレームとキャプションに対する自己アテンションと、質問に従うアテンションの2段階のアテンション機構を組み合わせ、後段のマルチモーダル統合を用いて高レベルの共同表現を学習する。MDAMは、MovieQA（41.41%）およびPororoQA（48.9%）の両ベンチマークで最先端の性能を達成し、複雑な動画理解タスクにおけるデュアルアテンションと後段統合の有効性を示している。

ABSTRACT

We propose a video story question-answering (QA) architecture, Multimodal Dual Attention Memory (MDAM). The key idea is to use a dual attention mechanism with late fusion. MDAM uses self-attention to learn the latent concepts in scene frames and captions. Given a question, MDAM uses the second attention over these latent concepts. Multimodal fusion is performed after the dual attention processes (late fusion). Using this processing pipeline, MDAM learns to infer a high-level vision-language joint representation from an abstraction of the full video content. We evaluate MDAM on PororoQA and MovieQA datasets which have large-scale QA annotations on cartoon videos and movies, respectively. For both datasets, MDAM achieves new state-of-the-art results with significant margins compared to the runner-up models. We confirm the best performance of the dual attention mechanism combined with late fusion by ablation studies. We also perform qualitative analysis by visualizing the inference mechanisms of MDAM.

研究の動機と目的

• 時間的に整合されたマルチモーダルなコンテンツ（フレーム、キャプション、質問）を高レベルの抽象化を伴って推論できる動画ストーリーQAの課題に対処すること。
• 生の動画とキャプション特徴量を直接統合する従来のモデルが抱える過学習や一般化性能の低さの問題を克服すること。
• マルチモーダル統合の前に潜在表現を学習することで、推論性能が向上するかどうかを調査すること。
• 高レベルの抽象化の後にのみ統合を行う後段統合が、早期統合よりも優れた結果をもたらすかどうかを検証すること。

提案手法

• ResNet、GloVe、位置エンコーディング、キャピタル化特徴量を用いて、動画フレームとキャプションを共有表現空間に埋め込む。
• マルチヘッド自己アテンションを用いて、フレームとキャプションの全系列から潜在変数を学習し、高レベルの抽象化を捉える。
• 各質問に対して、フレームとキャプションからの関連する潜在的コンセプトを効率的に選択的に注目する第二のアテンション機構を適用する。
• デュアルアテンションの後に一度だけマルチモーダル統合を実行し、残差学習を用いて質問、キャプション、フレーム表現を統合する。
• 前処理、自己アテンション、質問に従うアテンション、マルチモーダル統合、回答選択の5つのサブモジュールを備えた、エンドツーエンドの教師あり学習パイプラインを採用する。
• 過学習の低減と収束性の向上を図るため、早期統合とは対照的に、後段統合を採用する。

実験結果

リサーチクエスチョン

• RQ1 フレームとキャプションに対する自己アテンションの後に質問に従うアテンションを適用するデュアルアテンションは、直接統合に比べて、動画ストーリーの推論性能を向上させるか？
• RQ2 抽象化の後に統合を行う後段統合は、抽象化の前に統合を行う早期統合よりも、動画ストーリーQAでより効果的か？
• RQ3 フレームとキャプションに対する自己アテンションは、後続のQAタスクに向けたより強固な高レベル表現の学習を可能にするか？
• RQ4 モデルのアテンション機構は、複雑な動画ナラティブにおける人間の推論に類似しているか？
• RQ5 自己アテンションのモジュールを除去する、あるいは早期統合を採用した場合の性能低下はどの程度か？

主な発見

• MDAMは、テスト精度41.41%を達成し、2位のモデル（Layered Memory Networks）を2.38ポイント上回り、MovieQAで最先端の性能を記録した。
• PororoQAでは48.9%の正確度を達成し、ベースラインモデルを大きく上回り、新たな最先端性能を樹立した。
• アブレーションスタディの結果、自己アテンションモジュールを削除すると性能が47.3%に低下し、高レベルの抽象化を学習する上でその重要性が裏付けられた。
• 早期統合を採用したモデル（MDAM-EarlyFusion）はPororoQAでたった46.1%の正確度にとどまり、後段統合が早期統合よりも優れていることが示された。
• 定性的な分析から、MDAMは質問に応じて関連するフレームやキャプションを正しく注目しているのに対し、自己アテンションを欠いたアブレーションモデルは、しばしば重要な情報を特定できないことが明らかになった。
• 早期統合ベースラインと比較して、MDAMは収束が早く、損失のフラクチュエートが少ないことが確認され、後段統合によるトレーニング安定性の向上が示された。