[論文レビュー] Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering

Chenyou Fan, Xiaofan Zhang+4 more|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 28被引用数 35

ひとこと要約

本論文は、(i) appearance と motion features を統合する異種メモリ、(ii) 複雑な意味理解のために再設計された質問メモリ、(iii) 視覚的・テキスト的手がかりを跨ぐ多段推論を可能にするマルチモーダルフュージョン層を備えたエンドツーエンドの VideoQA フレームワークを提示する。

ABSTRACT

In this paper, we propose a novel end-to-end trainable Video Question Answering (VideoQA) framework with three major components: 1) a new heterogeneous memory which can effectively learn global context information from appearance and motion features; 2) a redesigned question memory which helps understand the complex semantics of question and highlights queried subjects; and 3) a new multimodal fusion layer which performs multi-step reasoning by attending to relevant visual and textual hints with self-updated attention. Our VideoQA model firstly generates the global context-aware visual and textual features respectively by interacting current inputs with memory contents. After that, it makes the attentional fusion of the multimodal visual and textual representations to infer the correct answer. Multiple cycles of reasoning can be made to iteratively refine attention weights of the multimodal data and improve the final representation of the QA pair. Experimental results demonstrate our approach achieves state-of-the-art performance on four VideoQA benchmark datasets.

研究の動機と目的

• VideoQA において appearance と motion feature を共同でモデリングする必要性を、異種メモリアーキテクチャを用いて動機づける。
• 動画と質問表現の両方のグローバルコンテキストを捉えられる、メモリ補助付きフレームワークを設計する。
• 視覚的およびテキスト的ヒントを跨いだ多段推論を可能にするマルチモーダルフュージョンモジュールを開発する。
• 複数の VideoQA ベンチマークで最先端の性能を示し、徹底的なアブレーションを提供する。

提案手法

• appearance と motion content を共に書き込む異種外部メモリを導入し、共整合した時空注意を学習する。
• 個別の motion/appearance 隠れ状態とグローバルメモリ状態を持つ読み出し/書き込み機構を開発し、文脈依存の動画特徴を生成する。
• 複雑で文脈依存的な質問の意味論を捉えるよう再設計された外部質問メモリを組み込む。
• 反復をまたいで動画と質問特徴に注意を払う LSTM コントローラを備えたマルチモーダルフュージョン層を提案し、融合表現を更新する。
• 多段推論（L iterations）を適用して注目重みと最終的な QA 表現を洗練させる。
• Adam 最適化手法を用いた標準の VideoQA 損失関数（多肢選択と開放回答）でエンドツーエンドにトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 異種メモリは appearance と motion feature を効果的に統合して、VideoQA の共同時空注意を学習するにはどうすれば良いか？
• RQ2 再設計された質問メモリは、複雑な質問の意味論をより良く捉え、問われている主題を強調できるか？
• RQ3 反復推論を伴うマルチモーダルフュージョン層は、視覚内容と質問の手がかりの整合性を高め、正確な回答につながるか？
• RQ4 多段推論の反復が最終的な VideoQA の性能に与える影響はどの程度か？
• RQ5 メモリベースのアーキテクチャは、標準の VideoQA ベンチマークで早期/後期フュージョンのベースラインを上回るか？

主な発見

• 提案モデルは four VideoQA ベンチマークデータセットで最先端の性能を達成する。
• Memory modules that fuse visual features and question semantics yield improved attention and reasoning over baselines.
• Joint visual memory (appearance + motion) consistently outperforms episodic memory and simple fusion variants.
• The multimodal fusion layer with multi-step reasoning improves alignment between video content and questions, outperforming ST-VQA and Co-Mem baselines on TGIF-QA and other datasets.
• Ablation studies show that both visual memory and question memory contribute to performance gains, with further gains when used together.