[論文レビュー] A Read-Write Memory Network for Movie Story Understanding

Seil Na, Sang-Ho Lee+2 more|arXiv (Cornell University)|Sep 27, 2017

Multimodal Machine Learning Applications参考文献 24被引用数 15

ひとこと要約

本論文では、マルチレイヤード畳み込みネットワークを用いてメモリの読取および書込操作を行うことで、マルチモーダル映画物語理解を向上させるリード・ライトメモリネットワーク（RWMN）を提案する。順序付きメモリセルを独立した単位ではなく、チャンクとして扱うことで、特に『なぜ』という質問のような複雑で抽象的な推論タスクにおいて、MovieQAベンチマークで最先端の性能を達成した。

ABSTRACT

We propose a novel memory network model named Read-Write Memory Network (RWMN) to perform question and answering tasks for large-scale, multimodal movie story understanding. The key focus of our RWMN model is to design the read network and the write network that consist of multiple convolutional layers, which enable memory read and write operations to have high capacity and flexibility. While existing memory-augmented network models treat each memory slot as an independent block, our use of multi-layered CNNs allows the model to read and write sequential memory cells as chunks, which is more reasonable to represent a sequential story because adjacent memory blocks often have strong correlations. For evaluation, we apply our model to all the six tasks of the MovieQA benchmark, and achieve the best accuracies on several tasks, especially on the visual QA task. Our model shows a potential to better understand not only the content in the story, but also more abstract information, such as relationships between characters and the reasons for their actions.

研究の動機と目的

• 長期間にわたるマルチモーダルな映画物語を理解する課題に取り組み、事実の理解と抽象的推論の両方が必要となる。
• RNNや標準的なメモリネットワークが、順序的な物語における長距離依存関係や高レベルの抽象的表現を捉える点で抱える制限を克服する。
• キャラクターの関係性や動機に関する推論を要する複雑な質問タイプ（特に『なぜ』質問）のパフォーマンスを向上させる。
• メモリを独立したスロットではなく、順序的なチャンクとして扱うメモリ機構を設計し、物語進行における空間的および時間的相関を活用する。

提案手法

• 完全結合型やアテンションベースのメカニズムではなく、深層畳み込みネットワークを用いて読取および書込操作を行う、新しいメモリネットワークアーキテクチャ、RWMNを導入する。
• 読取および書込ネットワークにマルチレイヤードCNNを用い、順序付きメモリセルを連続するチャンクとして処理することで、階層的特徴抽出による高レベル表現を捉える。
• フィルターサイズ、チャネル数、ストライドをハイパーパrameterとして設定し、学習可能な畳み込みフィルタを用いた読取および書込ネットワークを構築する。
• RWMNモデルをMovieQAベンチマークに適用し、映像、字幕、テキスト入力を用いて、マルチモーダル設定下で6つの異なる質問タイプに回答する。
• 正答予測のクロスエントロピー損失を用いて、ソフトアテンション機構を介して関連する時間的セグメントに注目しながら、エンド・トゥ・エンドでモデルを学習する。
• 教師ありアテンションラベルがなくても、時間軸にわたるアテンションマップを学習することで、長時間の映像においてどこに注目すべきかを暗黙的に学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの読取/書込メカニズムは、長期間にわたるマルチモーダルな物語理解タスクにおけるメモリネットワークのパフォーマンスを向上させることができるか？
• RQ2 メモリを独立したスロットではなく、順序的なチャンクとしてモデル化することで、複雑な物語における推論性能が向上するか？
• RQ3 RWMNモデルは、映画QAにおける抽象的推論質問（例：『なぜ？』）において、既存のメモリネットワークを上回る性能を示せるか？
• RQ4 読取および書込ネットワークの深さとアーキテクチャは、視覚的およびマルチモーダルQAタスクのパフォーマンスにどのように影響するか？
• RQ5 RWMNは、明示的な監督なしに、長時間の映像において関連する時間的アテンション位置をどの程度暗黙的に学習できるか？

主な発見

• ICCV2017締切時点でのMovieQAテストセットでは6つのタスクのうち4つ、バリデーションセットでは5つのタスクのうち4つで最高のパフォーマンスを達成した。
• 1層の書込ネットワークと1層の読取ネットワークを用いた1層構成で、フィルタ設定が（40,30,3）と（3,1,1）の場合、映像＋字幕タスクで38.6%の精度向上を達成した。
• MEMN2Nベースラインと比較して『なぜ』質問において大幅な性能向上を示し、抽象的で高レベルの推論を処理する優れた能力を示した。
• 定性的分析の結果、モデルのアテンションが正解アテンションマップとよく一致しており、一部のケースではアテンションが正解から逸脱しても正しく質問に答えられていた。
• モデルのパフォーマンスはネットワークの深さとフィルタ設定に敏感であり、読取および書込ネットワークで2～3層の構成で最適な性能が得られた。
• 2層の書込ネットワークと2層の読取ネットワークを用い、フィルタ設定がそれぞれ（4,2,1）と（4,2,1）の場合、映像＋字幕タスクで37.3%の精度を達成した。