[論文レビュー] Beyond Short Snippets: Deep Networks for Video Classification

Joe Yue-Hei Ng, Matthew Hausknecht+4 more|arXiv (Cornell University)|Mar 31, 2015

Human Pose and Action Recognition参考文献 23被引用数 254

ひとこと要約

本論文は、長時間の動画クリップ（最大120フレーム、約2分間）を活用して動画分類を向上させる、特に時系列特徴プーリングおよびLSTMベースのモデルを含む深層ニューラルネットワークアーキテクチャを提案する。畳み込みニューラルネットワーク（CNN）で処理されたフレーム特徴と光流を組み合わせ、長距離の時系列依存関係をモデル化することで、UCF-101（88.6%）およびSports-1M（73.1%）ベンチマークで最先端の性能を達成し、短いスニペットを使用する従来手法を顕著に上回る。

ABSTRACT

Convolutional neural networks (CNNs) have been extensively applied for image recognition problems giving state-of-the-art results on recognition, detection, segmentation and retrieval. In this work we propose and evaluate several deep neural network architectures to combine image information across a video over longer time periods than previously attempted. We propose two methods capable of handling full length videos. The first method explores various convolutional temporal feature pooling architectures, examining the various design choices which need to be made when adapting a CNN for this task. The second proposed method explicitly models the video as an ordered sequence of frames. For this purpose we employ a recurrent neural network that uses Long Short-Term Memory (LSTM) cells which are connected to the output of the underlying CNN. Our best networks exhibit significant performance improvements over previously published results on the Sports 1 million dataset (73.1% vs. 60.9%) and the UCF-101 datasets with (88.6% vs. 88.0%) and without additional optical flow information (82.6% vs. 72.8%).

研究の動機と目的

• 短い動画スニペットに依存するのではなく、全長動画における長距離の時系列依存関係をモデル化することで、動画分類の性能を向上させること。
• 延長されたフレーム系列から学習されるグローバルな動画レベル表現が、フレームレベルの集約よりも優れた性能をもたらすかどうかを調査すること。
• 深層学習アーキテクチャと組み合わせた際、光流を明示的な動き符号化として用いることで性能が向上するかどうかを評価すること。
• 特徴プール型アーキテクチャと再帰型アーキテクチャ（LSTM）が、動画内の時系列的変化を捉える能力において、どのように性能を発揮するかを比較すること。
• 低フレームレート（1 fps）を、計算コストを削減するために光学流と組み合わせて効果的に使用できるかどうか、精度を維持したままであるかを検証すること。

提案手法

• 計算コストを削減しながらも時系列的文脈を保持するため、1秒ごとに1フレームずつ処理することで、1 fpsで動画フレームを処理する。
• 各フレームから空間的特徴を抽出するために2次元CNNを用い、その後、時系列的特徴プール（例：マックスプール）を適用してフレームレベル特徴をグローバルな動画記述子に集約する。
• 長距離の時系列的ダイナミクスを捉えるために、時間的に進化するLSTMの隠れ状態を用いてフレーム間の逐次的依存関係をモデル化する。
• プール型モデルおよびLSTMモデルの両方に、画像フレーム特徴と光流マップを入力として組み込み、明示的に動き情報を符号化する。
• 小さなネットワークを段階的に拡大し、微調整することで、短いクリップを必要とせず、全長動画上でエンドツーエンド学習が可能な学習戦略を採用する。
• 上位レイヤーのLSTM層では、時間遡及バックプロパゲーションを適用するが、CNN層には適用しない。これにより、勾配の流れは再帰的コンponentsに制限される。

実験結果

リサーチクエスチョン

• RQ1 最大120フレームの全長動画で学習された深層ニューラルネットワークは、短い動画スニペットのみで学習されたモデルと比較して、顕著に動画分類精度を向上させることができるか？
• RQ2 特にLSTMのような再帰的アーキテクチャと組み合わせた場合、光流を明示的な動き符号化として用いることで性能が向上するか？
• RQ3 光流を用いる場合、1 fpsにフレームレートを低下させても、十分な時系列的文脈が保持されていれば分類性能に悪影響を及ぼさないか？
• RQ4 LSTMのような再帰的モデルは、単純な時系列プール手法に比べて、動画シーケンス内の長距離の時系列依存関係をより効果的に捉えられるか？
• RQ5 光流の利点は動画の品質に依存するものか？また、ノイズが多い、またはトリムされていない動画（例：Sports-1Mデータセットに含まれる動画）においても、依然として有効であるか？

主な発見

• 提案されたLSTMベースのモデルは、UCF-101で88.6%の精度を達成し、SVMを用いた2ストリーム統合手法で達成された従来の最先端の88.0%を上回った。
• 120フレームと光流を用いたモデルは、UCF-101で88.2%の精度を達成し、1フレームのCNNベースライン（73.0%）を顕著に上回った。
• Sports-1Mデータセットでは、光流を用いたLSTMモデルが73.1%の精度を達成し、従来の最先端の60.9%を大幅に上回った。
• 光流は、UCF-101では82.6%（光流なし）から88.2%（光流あり）への性能向上をもたらしたが、Sports-1Mではより小さい向上幅にとどまった。これは、UCF-101の動画品質が高く、行動コンテンツの整合性が高いためである。
• ノイズの多い光流マップであっても、LSTMモデルは動き情報の恩恵を受けることができ、低品質な動き特徴に対しても頑健であることが示された。
• 十分な時系列的文脈が保持されていれば、1 fpsの低フレームレートであっても性能に悪影響を及ぼさない。