[論文レビュー] Describing Videos by Exploiting Temporal Structure

Li Yao, Atousa Torabi+5 more|arXiv (Cornell University)|Feb 27, 2015

Multimodal Machine Learning Applications参考文献 50被引用数 189

ひとこと要約

本論文は、3次元畳み込みニューラルネットワーク（3D CNN）を用いて局所的な時間的ダイナミクスを、時間的アテンションメカニズムを用いてグローバルな時間的構造を捉えることで、動画記述生成の性能を著しく向上させる動画記述モデルを提案する。この手法はYouTube2Textデータセットで最先端の結果を達成し、より大規模で困難なDVSデータセットでも優れた汎化性能を示している。

ABSTRACT

Recent progress in using recurrent neural networks (RNNs) for image description has motivated the exploration of their application for video description. However, while images are static, working with videos requires modeling their dynamic temporal structure and then properly integrating that information into a natural language description. In this context, we propose an approach that successfully takes into account both the local and global temporal structure of videos to produce descriptions. First, our approach incorporates a spatial temporal 3-D convolutional neural network (3-D CNN) representation of the short temporal dynamics. The 3-D CNN representation is trained on video action recognition tasks, so as to produce a representation that is tuned to human motion and behavior. Second we propose a temporal attention mechanism that allows to go beyond local temporal modeling and learns to automatically select the most relevant temporal segments given the text-generating RNN. Our approach exceeds the current state-of-art for both BLEU and METEOR metrics on the Youtube2Text dataset. We also present results on a new, larger and more challenging dataset of paired video and natural language descriptions.

研究の動機と目的

• 動画に対する正確で自然な言語による記述を生成する課題に、局所的およびグローバルな時間的構造をモデル化することで対処すること。
• フレーム平均特徴量に依存する従来の動画記述モデルが、時間的順序や出来事の進行を失う問題を改善すること。
• テキスト生成中に顕著な動画セグメントに焦点を当てることができるニューラルエンコーダ・デコーダフレームワークを構築すること。
• 3D CNNによる局所的アクション特徴量と、動画フレーム全体に対するグローバルアテンションの組み合わせの有効性を検証すること。
• 標準的なYouTube2Textデータセットに加え、より大規模で複雑なDVSデータセットでもモデルの汎化性能を評価すること。

提案手法

• 短い動画クリップからスパatio-時間的特徴量を抽出するために3次元畳み込みニューラルネットワーク（3D CNN）が用いられ、微細な動きや行動パターンを捉える。
• 3D CNNは、人間の動きや行動に敏感な表現を生成できるよう、動画行動認識タスクで事前学習されている。
• デコーダRNNが各単語生成ステップで関連する動画フレームに動的に注目できるように、時間的アテンションメカニズムが導入されている。
• アテンションメカニズムはソフトアライメントを用いてフレームごとの重みを計算し、明示的なセグメンテーション境界を必要とせずに、時間的に異なる出来事に焦点を当てる。
• エンコーダ・デコーダアーキテクチャは、3D CNN特徴量とアテンション重み付きフレーム表現を統合し、記述文を生成する。
• モデルは、推論時にビームサーチを用いた交差エントロピー損失を用いてエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 3D CNNを用いて局所的な時間的ダイナミクスをモデル化することで、フレーム平均表現を上回る動画記述性能が向上するか？
• RQ2 グローバルな時間的アテンションメカニズムを組み込むことで、動画コンテンツと生成された記述との間の整合性が向上するか？
• RQ3 局所的およびグローバルな時間的モデリングの組み合わせが、オープンドメインの動画記述タスクにおける性能に与える影響は何か？
• RQ4 YouTube2TextとDVSのようなスケールや複雑さが異なるデータセット間で、モデルの汎化性能はどの程度か？
• RQ5 アテンション重みが、記述生成の過程で人間の顕著な動画セグメントへの認識とどの程度一致するか？

主な発見

• 提案手法はYouTube2Textデータセットで最先端の性能を達成し、BLEU、METEOR、CIDErの各指標で先行手法を上回った。
• より大規模で困難なDVSデータセットでは、優れた性能を示したが、YouTube2Textに比べて大きな差が残っており、さらなる改善の余地があることが示された。
• 3D CNN特徴量と時間的アテンションの組み合わせが最高の性能をもたらし、局所的およびグローバルモデリングの補完的利点を実証した。
• 定性的な分析から、アテンション重みが顕著な視覚的出来事（例：重要なオブジェクトや行動が現れるフレーム）とよく一致することが確認された。
• 3D CNNにより、単に外観特徴量のみを用いるモデルと比較して、行動の区別（例：'frying' と 'cooking'）がより良くなった。
• 多様な動画コンテンツに強く汎化し、複雑で複数のアクティビティが重なったシーンでも、一貫性があり文脈的に適切な記述を生成できた。