[論文レビュー] Movie Question Answering: Remembering the Textual Cues for Layered Visual Contents

Bo Wang, Youjiang Xu+2 more|arXiv (Cornell University)|Apr 25, 2018

Multimodal Machine Learning Applications参考文献 27被引用数 6

ひとこと要約

本論文は、階層的メモリアーキテクチャを用いて視覚的特徴と字幕を統合するためのレイヤードメモリネットワーク（LMN）を提案する。静的ワードメモリモジュールはフレームレベルの視覚的・言語的対応関係を符号化し、動的字幕メモリモジュールはクリップレベルの時間的整合性を捉える。このモデルは、2017年9月現在、MovieQA 'Video+Subtitles'ベンチマークで最先端の性能を達成し、オンライン評価サーバーで1位を記録した。

ABSTRACT

Movies provide us with a mass of visual content as well as attracting stories. Existing methods have illustrated that understanding movie stories through only visual content is still a hard problem. In this paper, for answering questions about movies, we put forward a Layered Memory Network (LMN) that represents frame-level and clip-level movie content by the Static Word Memory module and the Dynamic Subtitle Memory module, respectively. Particularly, we firstly extract words and sentences from the training movie subtitles. Then the hierarchically formed movie representations, which are learned from LMN, not only encode the correspondence between words and visual content inside frames, but also encode the temporal alignment between sentences and frames inside movie clips. We also extend our LMN model into three variant frameworks to illustrate the good extendable capabilities. We conduct extensive experiments on the MovieQA dataset. With only visual content as inputs, LMN with frame-level representation obtains a large performance improvement. When incorporating subtitles into LMN to form the clip-level representation, we achieve the state-of-the-art performance on the online evaluation task of 'Video+Subtitles'. The good performance successfully demonstrates that the proposed framework of LMN is effective and the hierarchically formed movie representations have good potential for the applications of movie question answering.

研究の動機と目的

• 複雑な物語構造と視覚的曖昧性のため、本質的に困難であるにもかかわらず、視覚的コンテンツのみを用いて映画の物語を理解する課題に対処すること。
• 視覚的特徴と字幕からの言語的手がかりを統合することで、意味的理解を向上させ、映画QAの性能を向上させること。
• フレームレベルの視覚的・言語的整合性とクリップレベルの時間的文脈関係を両方モデリングする階層的メモリフレームワークを開発すること。
• 複数の変種アーキテクチャを用いて、LMNモデルの有効性と拡張可能性を実証すること。

提案手法

• モデルは静的ワードメモリモジュールを用いて、映画の字幕からの単語レベルの意味的情報を符号化し、フレームレベルの視覚的表現を生成する。
• 動的字幕メモリモジュールを採用し、映画クリップ全体にわたる文と視覚的コンテンツの時間的整合性を学習する。
• フレームレベルの特徴を静的ワードメモリを経由して処理し、その出力を動的字幕メモリに供給することで、クリップレベルの表現を生成する。
• 3つの拡張フレームワークを導入する：(1) 動的字幕メモリの更新メカニズムにより不要な情報をフィルタリング、(2) 関連するメモリコンテンツに注目するための質問誘導型アテンション、(3) 両者の組み合わせによる推論性能の向上。
• 視覚入力としてGoogLeNetおよびVGG-16特徴を用い、単語埋め込みはMovieQAデータセット上で学習する。
• 階層的アーキテクチャにより、フレーム内での視覚的・言語的対応関係と、クリップ間での時間的整合性の両方を共同で学習可能となる。

実験結果

リサーチクエスチョン

• RQ1 視覚的コンテンツのみで映画QAの性能を高めることは可能か？あるいは、複雑な物語理解には言語的文脈が不可欠か？
• RQ2 視覚的および言語的モodalを効果的に統合することで、映画におけるフレーム内およびフレーム間の関係をどのようにモデリングできるか？
• RQ3 フラットメモリやアテンションオンativeモデルと比較して、階層的メモリ機構は動画QAにおける推論性能をどの程度向上できるか？
• RQ4 動的メモリ更新メカニズムと質問誘導型アテンションは、ノイズのフィルタリング能力を向上させ、正答率を改善するのに有効か？

主な発見

• フレームレベル表現のみを用いたLMNは、'Video+Subtitles'タスクで34.34%の性能を達成し、視覚的コンテンツのみで強力なベースライン性能を示した。
• 動的字幕メモリモジュールを介して字幕を統合することで性能が顕著に向上し、最良のバリエーションではMovieQAオンライン評価サーバーで39.03%の正答率に到達した。
• 更新メカニズムと質問誘導型アテンションの両方を組み合わせたアーキテクチャは、更新のみのバージョンより0.9%の向上を示し、より優れた推論と関連性フィルタリングが可能であることを確認した。
• 2017年9月10日現在、LMNはMovieQAオンラインランクイングの'Video+Subtitles'タスクで1位を記録し、DEMN（29.97%）やRWMN（36.25%）といった先行手法を上回った。
• 静的ワードメモリモジュールは、ホップ数の変化に関わらず安定した性能を示し、26,630語の巨大な語彙サイズと300次元の固定次元性にもかかわらず、強固な性能を発揮した。
• モデルの例示では、明示的な単語-フレーム対応関係がなくても、'Sherry' や 'red ink' などの言語的要素と関連する視覚的コンテンツが正確に一致していることが確認された。