[論文レビュー] Sequence to Sequence -- Video to Text

Subhashini Venugopalan, Marcus Rohrbach+4 more|arXiv (Cornell University)|May 3, 2015

Multimodal Machine Learning Applications参考文献 43被引用数 193

ひとこと要約

本論文では、スタックされたLSTMを用いて可変長の動画入力（フレーム）を自然言語のキャプションにマップする、sequence-to-sequenceの深層学習モデルS2VTを提案する。時間的動的要因と言語モデリングを同時に学習することで、明示的なアテンションを用いずに、MSVD、MPII-MD、M-VADデータセットで最先端の性能を達成し、METEORスコアにおいて最大1.5ポイントの向上を達成した。

ABSTRACT

Real-world videos often have complex dynamics; and methods for generating open-domain video descriptions should be sensitive to temporal structure and allow both input (sequence of frames) and output (sequence of words) of variable length. To approach this problem, we propose a novel end-to-end sequence-to-sequence model to generate captions for videos. For this we exploit recurrent neural networks, specifically LSTMs, which have demonstrated state-of-the-art performance in image caption generation. Our LSTM model is trained on video-sentence pairs and learns to associate a sequence of video frames to a sequence of words in order to generate a description of the event in the video clip. Our model naturally is able to learn the temporal structure of the sequence of frames as well as the sequence model of the generated sentences, i.e. a language model. We evaluate several variants of our model that exploit different visual features on a standard set of YouTube videos and two movie description datasets (M-VAD and MPII-MD).

研究の動機と目的

• 可変長の入力・出力シーケンスを持つ動画に対して、オープンドメインで自然な言語による記述を生成する課題に対処すること。
• エンドツーエンドで学習可能なフレームワーク内で、動画フレームの時間的構造と自然言語記述の順序的文法を同時にモデル化すること。
• テンプレートベースや2段階のパイプラインに依存せず、視覚的表現と言語生成を同時に学習することで、動画キャプションの性能を向上させること。
• YouTube動画や映画のコロナからなる多様なデータセット上でモデルを評価し、その汎用性と一般化性能を示すこと。
• 単純なsequence-to-sequenceアーキテクチャにLSTMとマルチモodalな視覚入力（RGBとオプティカルフロー）を組み合わせることで、複雑なアテンションベースのモデルを上回ることを示すこと。

提案手法

• モデルは、フレームのシーケンスを隠れ状態表現に変換するためにスタックされた長短記憶ネットワーク（LSTM）を使用する。
• 各フレームは、VGGなどの事前学習済み畳み込みニューラルネットワーク（CNN）を通過して視覚的特徴を抽出し、その後エンコーダLSTMに逐次入力される。
• 連続するフレーム間のオプティカルフロー特徴も別個のCNNで抽出され、エンコーダLSTMに供給され、動きのダイナミクスを捉える。
• エンコーダの最終的な隠れ状態がデコーダLSTMの初期状態として使用され、1語ずつ逐次的に語のシーケンスが生成される。
• 予測されたキャプションシーケンスと正解シーケンスの差を最小化するために、交差エントロピー損失を用いてモデル全体をエンドツーエンドで訓練する。
• 過学習を防ぐために、エンコーダおよびデコーダLSTMの入力層および出力層にドロップアウトを適用し、特に小さな映画データセットにおいて有効である。

実験結果

リサーチクエスチョン

• RQ1 LSTMを用いたsequence-to-sequenceモデルは、動画フレーム内の時間的依存関係を効果的に学習し、文法的に正しい記述文を生成できるか？
• RQ2 視覚的エンコーディングと言語生成を同時に学習することは、2段階またはテンプレートベースのキャプション生成アプローチを上回るか？
• RQ3 オプティカルフロー特徴を含めることで、RGBのみの入力と比較して、動画キャプションの性能はどのように向上するか？
• RQ4 アーキテクチャの変更なしに、YouTubeクリップや映画シーンなど多様な動画ドメインに一般化できるか？
• RQ5 追加の学習データの増加に伴い、モデルの性能はどの程度向上するか？また、ベンチマークデータセットにおいて最先端の手法と比較して、どの程度の性能を示すか？

主な発見

• MSVDデータセットでは、S2VTがMETEORスコア18.5%を達成し、以前の手法を上回り、標準的なYouTube動画キャプションベンチマークで強力な性能を示した。
• MPII-MDデータセットでは、S2VTがMETEORスコア7.1%を達成し、SMTベースライン（5.6%）および平均プーリングベースライン（6.7%）を上回り、挑戦的な映画記述データセットで顕著な改善を示した。
• M-VADデータセットでは、S2VTがMETEORスコア6.7%を達成し、時間的アテンションモデル（4.3%）および平均プーリング（6.1%）を上回り、複雑な映画シーンにおいて優れた一般化性能を示した。
• 統合LSMDCチャレンジでは、S2VTが公開テストセットでMETEORスコア7.0%を達成し、多様な映画記述に対して強力な性能を示した。
• MSVDにおける生成文の42.9%が訓練データの文と完全に一致し、81.2%が1回の編集距離内に収まるため、高い関連性と言語的品質を示した。
• モデルは高い表現能力と一般化性能を示し、大規模なデータセットで顕著な性能向上を示しており、ドメインシフトに対してもスケーラブルで頑健であることが示唆された。