[論文レビュー] Exploiting long-term temporal dynamics for video captioning

Yuyu Guo, Jingqiu Zhang+1 more|arXiv (Cornell University)|Feb 22, 2022

Multimodal Machine Learning Applications参考文献 57被引用数 11

ひとこと要約

本稿では、ショット間の関係を捉えるための時系列プーリングLSTM（TP-LSTM）と文生成のためのスタックドLSTMを用いることで、長時間的な時系列的ダイナミクスをモデル化する新しい動画キャプションフレームワークTS-LSTMを提案する。この手法は、MSVDおよびMSR-VTTで最先端の性能を達成し、BLEU-4スコアがそれぞれ54.5%および39.9%に達するが、フレームレベルの処理を回避することで計算コストを削減した。

ABSTRACT

Automatically describing videos with natural language is a fundamental challenge for computer vision and natural language processing. Recently, progress in this problem has been achieved through two steps: 1) employing 2-D and/or 3-D Convolutional Neural Networks (CNNs) (e.g. VGG, ResNet or C3D) to extract spatial and/or temporal features to encode video contents; and 2) applying Recurrent Neural Networks (RNNs) to generate sentences to describe events in videos. Temporal attention-based model has gained much progress by considering the importance of each video frame. However, for a long video, especially for a video which consists of a set of sub-events, we should discover and leverage the importance of each sub-shot instead of each frame. In this paper, we propose a novel approach, namely temporal and spatial LSTM (TS-LSTM), which systematically exploits spatial and temporal dynamics within video sequences. In TS-LSTM, a temporal pooling LSTM (TP-LSTM) is designed to incorporate both spatial and temporal information to extract long-term temporal dynamics within video sub-shots; and a stacked LSTM is introduced to generate a list of words to describe the video. Experimental results obtained in two public video captioning benchmarks indicate that our TS-LSTM outperforms the state-of-the-art methods.

研究の動機と目的

• 従来の動画キャプションモデルが、個々のフレームではなく、短いショット間の長距離時系列構造を捉える能力に制限されているのを是正すること。
• 短いショットの時系列プーリングにより、フレームレベルの処理を回避することで計算コストを削減すること。
• 空間的および時間的ダイナミクスを統合した統一された動画表現に組み込むことで、キャプションの品質を向上させること。
• フレームレベルのアテンション機構よりも、動画内の長距離依存関係をより効果的にモデル化すること。
• 効率的な推論を実現しつつ、標準的な動画キャプションベンチマークで最先端の性能を達成すること。

提案手法

• 短い動画ショットからの視覚的および運動的特徴を統合することで、長距離時系列的ダイナミクスをモデル化するための時系列プーリングLSTM（TP-LSTM）を導入する。
• 学習された長期的表現から自然言語文を生成するためのスタックドLSTMアーキテクチャを用いる。
• 事前学習済みの3次元畳み込みニューラルネットワーク（例：C3D）を用いて、TP-LSTMに供給する前の動画コンテンツを空間的および時間的特徴として抽出する。
• 2段階の訓練プロセスを採用する：まずTP-LSTMを長期的ダイナミクスを学習するように訓練し、次にスタックドLSTMをキャプション生成するように訓練する。
• 連続するフレームにおける時系列不変性を活用し、個々のフレームを個別に処理するのではなく、ショット単位でプーリングすることで処理を効率化する。
• 空間的特徴と時間的ダイナミクスを同時にモデル化する二重ブランチ機構を採用し、表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 フレームレベルのアテンションと比較して、動画ショット間の長距離時系列的ダイナミクスをモデル化することで、動画キャプションの性能が向上するか？
• RQ2 動画セグメントの時系列プーリングは、計算コストを削減しながらも、キャプションの品質を維持または向上させるか？
• RQ3 空間的および時間的ダイナミクスを統合した統一アーキテクチャは、フレームレベルのアテンションに依存するモデルを上回る性能を発揮するか？
• RQ4 MSVDおよびMSR-VTTなどの標準ベンチマークにおいて、提案されたTS-LSTMフレームワークは最先端の手法と比較してどのように差をつけるか？
• RQ5 このモデルは、複雑な動画シーンにおけるオブジェクト数や詳細な行動記述をどの程度正確に捉えられるか？

主な発見

• MSVDデータセットでは、TS-LSTMがBLEU-4スコア54.5%を達成し、次に良い手法（h-RNN）を4.6ポイント上回った。
• MSVDでは、METEORスコア34.5%を達成し、ベースラインを1.9ポイント上回った。これは、意味的正確性の向上を示している。
• MSR-VTTデータセットでは、TS-LSTMが最高のBLEU-4スコア（39.9%）とMETEOR（27.1%）を記録し、MFA-LSTMをそれぞれ0.7点および0.5ポイント上回った。
• モデルはより詳細で正確なキャプションを生成し、単に「食べている」とだけ記述するのではなく「パスタを食べている」と正確に記述するなど、オブジェクト数の特定も正しく行える。
• フレームレベルの処理を回避することで、TS-LSTMは計算コストを削減した。これは、密なフレームサンプリングではなく、ショット単位の表現を効率的に使用していることから明らかである。
• モデルは珍しいオブジェクトに対しても一般化性能が高く、訓練データが限られている場合でも「シロクマ」のような珍しいクラスに過学習する傾向は稀であるが、時折見られる。