[論文レビュー] Video Description Generation Incorporating Spatio-Temporal Features and a Soft-Attention Mechanism

Yao Li, Atousa Torabi+5 more|arXiv (Cornell University)|Feb 27, 2015

Multimodal Machine Learning Applications参考文献 37被引用数 47

ひとこと要約

本論文は、LSTMネットワークとソフトアテンション機構、および動画フレームからの空間的・時間的特徴を用いた動画記述生成モデルを提案する。静的フレーム特徴と動きに基づく特徴を組み合わせ、ソフトアテンションを適用することで、YouTube2Textデータセットにおいて最先端の性能を達成し、BLEUおよびMETEOR指標で先行手法を上回った。

ABSTRACT

Recent progress in using recurrent neural networks (RNNs) for image description has motivated us to explore the application of RNNs to video description. Recent work has also suggested that attention mechanisms may be able to increase performance. To this end, we apply a long short-term memory (LSTM) network in two configurations: with a recently introduced soft-attention mechanism, and without. Our results suggest two things. First, incorporating a soft-attention mechanism into the text generation RNN significantly improves the quality of the descriptions. Second, using a combination of still frame features and dynamic motion-based features can also help. Ultimately, our combined approach exceeds the state-of-art on both BLEU and Meteor on the Youtube2Text dataset. We also present results on a new, larger and more complex dataset of paired video and natural language descriptions based on the use of Descriptive Video Service (DVS) annotations which are now widely available as an additional audio track on many DVDs.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）を画像キャプション生成から動画記述生成へ拡張すること。
• アテンション機構が動画記述の品質を向上させるかどうかを調査すること。
• 静的フレーム特徴と動的動き特徴を組み合わせることで、動画キャプション生成モデルの効果が向上するかどうかを評価すること。
• より大規模で複雑な記述動画サービス（DVS）アノテーションのデータセットを用いて、新たなベンチマークを確立すること。
• 標準的な動画キャプション評価指標で最先端の性能を達成すること。

提案手法

• 動画記述のシーケンス生成に、長短期記憶（LSTM）ネットワークを用いる。
• キャプション生成中に関連する動画領域に動的に注目できるように、ソフトアテンション機構を適用する。
• 個々の動画フレームからの空間的特徴と、動画クリップからの時間的動き特徴を統合する。
• 動画クリップと自然言語による記述がペairedされたデータを用いて、モデルをエンドツーエンドで訓練する。
• LSTMに供給する前に、静的フレーム特徴と動き特徴を抽出・統合するためのデュアルエンコーダー手法を採用する。
• モデルの汎化性能と耐性を評価するために、より大規模で複雑なDVSアノテーション動画の新しいデータセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 ソフトアテンション機構を組み込むことで、標準的なLSTMベースのモデルと比較して、動画記述の品質が向上するか？
• RQ2 静的フレーム特徴と動きベースの特徴を組み合わせることで、動画キャプション生成モデルの性能が向上するか？
• RQ3 本手法は、より大規模で複雑なDVSアノテーション動画のデータセットにおいて、既存のベンチマークと比較してどの程度の性能を示すか？
• RQ4 BLEUやMETEORといった標準的な評価指標において、本モデルはどの程度最先端の性能を上回るか？

主な発見

• LSTMベースのテキスト生成ネットワークにソフトアテンション機構を統合することで、生成される動画記述の品質が顕著に向上した。
• 静的フレーム特徴と動的動きベースの特徴を組み合わせることで、単独で使用する場合よりも優れた性能が得られた。
• 本手法はYouTube2Textデータセットで最先端の結果を達成し、BLEUおよびMETEOR指標で先行手法を上回った。
• 本モデルは、新たに導入されたより大規模で複雑な記述動画サービス（DVS）アノテーションのデータセットにおいて、強力な汎化性能を示した。
• DVSアノテーション動画をトレーニングおよび評価リソースとして活用することで、動画キャプションのためのより現実的で多様なベンチマークが提供された。