[論文レビュー] Progressive Attention Memory Network for Movie Story Question Answering

Junyeong Kim, Minuk Ma+3 more|arXiv (Cornell University)|Apr 18, 2019

Multimodal Machine Learning Applications参考文献 33被引用数 13

ひとこと要約

本論文では、プログレッシブアテンションメモリネットワーク（PAMN）を提案する。これは、プログレッシブアテンション、ダイナミックモダリティ統合、信念補正を通じて、長時間の時系列局所化とモダリティ統合の課題に対処する、映画ストーリー質問応答のための新規アーキテクチャである。PAMNは、質問文の文脈に基づいてモダリティの重みを動的に調整しながら、動画と字幕のメモリに対して反復的に注意を集中させることで、MovieQAおよびTVQAベンチマークで最先端の性能を達成している。

ABSTRACT

This paper proposes the progressive attention memory network (PAMN) for movie story question answering (QA). Movie story QA is challenging compared to VQA in two aspects: (1) pinpointing the temporal parts relevant to answer the question is difficult as the movies are typically longer than an hour, (2) it has both video and subtitle where different questions require different modality to infer the answer. To overcome these challenges, PAMN involves three main features: (1) progressive attention mechanism that utilizes cues from both question and answer to progressively prune out irrelevant temporal parts in memory, (2) dynamic modality fusion that adaptively determines the contribution of each modality for answering the current question, and (3) belief correction answering scheme that successively corrects the prediction score on each candidate answer. Experiments on publicly available benchmark datasets, MovieQA and TVQA, demonstrate that each feature contributes to our movie story QA architecture, PAMN, and improves performance to achieve the state-of-the-art result. Qualitative analysis by visualizing the inference mechanism of PAMN is also provided.

研究の動機と目的

• 長時間の映画動画（通常1時間以上）において、質問応答のための関連する時系列セグメントを正確に特定する課題に対処すること。
• 質問に応じたニーズに応じて、動画と字幕のモダリティを適応的に統合できること。異なる質問は異なるモダリティに依存するためである。
• 人間の反復的推論を模倣し、信念補正を通じて順次予測を改善することで、QAにおける反復的推論をモデル化すること。
• プログレッシブアテンション、ダイナミックモダリティ統合、反復的信念精錬を統合することで、映画ストーリーQAベンチマークの性能を向上させること。

提案手法

• プログレッシブアテンションメカニズムは、質問と回答の表現を用いて、複数のホップにわたり、記憶内の不適切な時系列的部分を段階的に除外し、注意を反復的に精錬する。
• ダイナミックモダリティ統合は、ソフトアテンションを用いて、現在の質問に応じて動画と字幕特徴の重みを適応的に調整し、固定の統合ルールが不要なモダリティ固有の寄与を可能にする。
• 信念補正による回答方式は、予測スコアを一様に初期化し、質問と回答の手がかりを用いて反復的にそれらを修正することで、人間の反復的推論を模倣する。
• モデルは、質問と回答の表現に条件づけられた複数のアテンションホップを通じて更新される、時間的アテンションを備えたメモリネットワークを用いる。
• 解像度と計算コストのバランスを取るために、学習可能なストライドとカーネルサイズを用いた平均プーリング層をメモリ特徴のダウンサンプリングに用いる。
• 信念モジュールにおける補正重みは学習され、質問と回答の表現が信念更新に与える影響を調整する。各ステップの間に正規化が施される。

実験結果

リサーチクエスチョン

• RQ1 情報の分布が非一様な長時間の映画動画において、QAモデルはどのようにして関連する時系列セグメントを効果的に局所化できるか？
• RQ2 質問の種別に応じて、モダリティ統合をどれほど適応的にできるか。すなわち、質問のニーズに応じて動画または字幕モダリティがより多く寄与できるか。
• RQ3 一回のステップで生成するのとは異なり、予測の反復的精錬（信念補正）がQA性能を向上させられるか。
• RQ4 質問と回答の両方を用いて記憶へのアクセスをガイドするプログレッシブアテンションは、単一ステップまたはスタックドアテンションメカニズムと比較して、長時間の動画QAにおいてどのように性能を発揮するか。

主な発見

• PAMNは、MovieQAベンチマークで、MemN2N や RWMN などの先行手法を上回る最先端の性能を達成した。
• 『いつ』に関する質問では20%、『どこで』に関する質問では13%の性能向上を示し、時系列局所化における優れた能力を裏付けた。
• 定性的な分析から、プログレッシブアテンションマップが、質問が生成された真の時系列セグメントと密接に一致していることが確認された。
• ダイナミックモダリティ統合は、質問の種別に応じて動画または字幕モダリティを適応的に選択し、教師なし条件下でもモダリティの関連性を反映するアテンション重みを示した。
• 信念補正機構は複数ステップにわたり予測を効果的に精錬し、正解がしばしば後続の補正段階で選択された。
• ハイパーパramータのアブレーション分析から、2回のアテンションホップが最適な性能をもたらしたが、あまりに多くのホップは小さなデータセットで過学習を引き起こすことが分かった。