[論文レビュー] DeepStory: Video Story QA by Deep Embedded Memory Networks

Kyung-Min Kim, Min-Oh Heo+2 more|arXiv (Cornell University)|Jul 4, 2017

Multimodal Machine Learning Applications参考文献 17被引用数 34

ひとこと要約

DeepStoryは、潜在的埋め込み空間を通じてシーンと会話の両方を統合的にモデリングすることで、長期間の記憶保存と注目メカニズムに基づく検索を可能にする、深層埋め込みメモリネットワーク（DEMN）を導入した。このモデルは、新しいポロロアニメーションデータセットおよびMovieQAベンチマークの両方で最先端の性能を達成し、エンドツーエンド学習と注目メカニズムにより、先行手法を上回っている。

ABSTRACT

Question-answering (QA) on video contents is a significant challenge for achieving human-level intelligence as it involves both vision and language in real-world settings. Here we demonstrate the possibility of an AI agent performing video story QA by learning from a large amount of cartoon videos. We develop a video-story learning model, i.e. Deep Embedded Memory Networks (DEMN), to reconstruct stories from a joint scene-dialogue video stream using a latent embedding space of observed data. The video stories are stored in a long-term memory component. For a given question, an LSTM-based attention model uses the long-term memory to recall the best question-story-answer triplet by focusing on specific words containing key information. We trained the DEMN on a novel QA dataset of children's cartoon video series, Pororo. The dataset contains 16,066 scene-dialogue pairs of 20.5-hour videos, 27,328 fine-grained sentences for scene description, and 8,913 story-related QA pairs. Our experimental results show that the DEMN outperforms other QA models. This is mainly due to 1) the reconstruction of video stories in a scene-dialogue combined form that utilize the latent embedding and 2) attention. DEMN also achieved state-of-the-art results on the MovieQA benchmark.

研究の動機と目的

• 豊富なマルチモーダル動画データから学習することで、AIエージェントが動画ストーリーの質問に答えられるようにすること。
• 動画コンテンツにおける長距離の時系列的依存関係と複雑なストーリー構造を理解する課題に対処すること。
• 潜在的埋め込みを用いて効果的にストーリー情報を格納・検索できるメモリ拡張アーキテクチャを開発すること。
• 統一された表現空間で視覚的シーンと会話文を統合的にモデリングすることで、QAのパフォーマンスを向上させること。

提案手法

• 動画シーンと会話文からなる統合的潜在的埋め込み空間を学習するため、深層埋め込みメモリネットワーク（DEMN）を提案する。
• モデルはエンコーダーを用いて視覚的およびテキスト的入力を共有表現空間に埋め込む。
• 長期間メモリコンponentは、学習済みの埋め込みを用いて再構成された動画ストーリーを格納する。
• LSTMベースの注目メカニズムは、質問内のキーワードに注目することで、関連するストーリー断片を検索する。
• ネットワークは、シーン・会話ペairの再構成目的と、ストーリー関連の質問・回答ペアのQA目的に基づき、エンドツーエンドで訓練される。
• 推論時には注目メカニズムが適用され、質問に最も関連するメモリコンテンツを動的に選択する。

実験結果

リサーチクエスチョン

• RQ1 統一的メモリネットワークは、視覚的および言語的入力の統合から動画ストーリーを効果的に学習・再構成できるか？
• RQ2 メモリ拡張ネットワークにおける注目メカニズムは、質問応答のための関連するストーリー情報をどの程度効果的に検索できるか？
• RQ3 シーンと会話の統合的モデリングは、モality特化型アプローチと比較して、動画ストーリーQAのパフォーマンスを向上させるか？
• RQ4 提案されたDEMNアーキテクチャは、MovieQAのようなベンチマークデータセットにどの程度一般化可能か？

主な発見

• DEMNモデルはMovieQAベンチマークで最先端のパフォーマンスを達成し、トレーニングデータセットを超えた強力な一般化能力を示している。
• Pororoデータセットでは、既存のQAモデルを上回る性能を発揮しており、特に統合的シーン・会話モデリングと注目メカニズムによる大幅な向上が見られた。
• アブレーションスタディにより、潜在的埋め込み空間と注目メカニズムの両方がパフォーマンス向上に不可欠であることが確認された。
• モデルはシーン・会話ペアから動画ストーリーを効果的に再構成できており、時系列的・意味的整合性の学習が堅牢であることが示された。
• 長期間メモリの使用により、延長された動画シーケンスにわたりストーリー情報を保持・検索できるようになった。
• 視覚的および言語的信号の統合的学習が、複雑な動画ナラティブにおける推論を強化することを結果が裏付けている。