[論文レビュー] Temporal Modeling Approaches for Large-scale Youtube-8M Video Understanding

Fu Li, Chuang Gan+7 more|arXiv (Cornell University)|Jul 14, 2017

Video Analysis and Summarization参考文献 21被引用数 49

ひとこと要約

本論文は、YouTube-8Mデータセットから事前に抽出された特徴量を用いた大規模な動画認識のための、3つの新規時系列モデリング手法——2ストリームシーケンスモデル、ファストフォワードシーケンスモデル、時系列残差CNN——を提案する。深さのある双方向LSTMにファストフォワード接続と残差学習を組み合わせることで、公開テストセットで82.75%のGAP@20を達成し、コンペティションで3位を獲得した。

ABSTRACT

This paper describes our solution for the video recognition task of the Google Cloud and YouTube-8M Video Understanding Challenge that ranked the 3rd place. Because the challenge provides pre-extracted visual and audio features instead of the raw videos, we mainly investigate various temporal modeling approaches to aggregate the frame-level features for multi-label video recognition. Our system contains three major components: two-stream sequence model, fast-forward sequence model and temporal residual neural networks. Experiment results on the challenging Youtube-8M dataset demonstrate that our proposed temporal modeling approaches can significantly improve existing temporal modeling approaches in the large-scale video recognition tasks. To be noted, our fast-forward LSTM with a depth of 7 layers achieves 82.75% in term of GAP@20 on the Kaggle Public test set.

研究の動機と目的

• 生動画ではなく、事前に抽出されたフレームレベル特徴量を用いた大規模動画認識の課題に取り組む。
• 動画シーケンスにおける長距離時系列依存関係を捉えることが難しい浅い再帰的モデルの限界を克服する。
• 4,716クラスを有する700万本以上の動画を含むYouTube-8Mデータセットにおいて、マルチラベル動画分類のパフォーマンスを向上させる。
• アンサンブル学習を通じてパフォーマンスを向上させるために、補完的な時系列モデリング技術を調査する。
• 産業規模の動画理解タスクに適したスケーラブルで頑健な時系列モデリングアーキテクチャの開発

提案手法

• 視覚（RGB）および音声特徴量を別々に処理する2ストリームの双方向LSTMまたはGRUを採用し、その後にアテンション機構と特徴量の連結処理を実施する。
• 深さ7層までの双方向LSTMアーキテクチャにファストフォワード接続を導入し、訓練の安定性と勾配の流れを向上させる。
• 1次元畳み込みをフレームレベル特徴量に適用し、バッチ正則化とReLU活性化関数を用いた9ブロックの時系列残差CNNを設計する。
• 時系列CNNの出力を双方向LSTMとアテンション層に結合し、最終的な分類処理を実施する。
• アテンション処理後にモダリティ固有の表現を連結する後期統合を実施し、全結合層とシグモイド活性化関数を適用する。
• ラベルスムージングを用いた交差エントロピー損失とAdam最適化を用いて、エンドツーエンドでモデルを訓練し、バリデーション性能に基づく早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 残差接続とファストフォワード接続を備えた深層再帰的ネットワークは、事前に抽出された特徴量を用いた大規模動画認識において、浅いモデルを上回る性能を発揮できるか？
• RQ2 視覚および音声モダリティの特徴量を別々に処理し、その後に統合する2ストリームアーキテクチャは、どの程度効果的か？
• RQ3 再帰的モデルに時系列畳み込みネットワークを統合することで、純粋なRNNと比較して動画表現学習が向上するか？
• RQ4 異なる時系列モデリング手法をアンサンブルすることで、性能向上にどの程度寄与するか？
• RQ5 ファストフォワード接続などのアーキテクチャ的革新を最適化に用いることで、大規模動画データセット上での深層シーケンスモデルの効果的訓練は可能か？

主な発見

• 7層のファストフォワードLSTMは、公開テストセットで82.75%のGAP@20を達成し、浅いモデルを顕著に上回った。
• 2ストリームGRUモデルは82.366%のGAP@20を達成し、モダリティ固有の処理とアテンションベースの統合の有効性を示した。
• 深さ、セルサイズ、アーキテクチャが異なる57種類の多様なモデルをアンサンブルすることで、84.542%のGAP@20を達成し、コンペティションで3位を獲得した。
• 時系列残差CNNは80.889%のGAP@20を達成し、1次元畳み込みがフレームレベル特徴量における時系列ダイナミクスを効果的にモデル化できることを示した。
• 提案手法は、従来の手法（動画レベルの平均プーリング：80.824%、VLAD符号化：80.423%）を顕著に上回った。
• ファストフォワード接続により、深さ7層までのLSTMアーキテクチャの安定した訓練が可能になり、深層RNNに一般的に見られる勾配消失問題が緩和された。