[論文レビュー] End-to-end Video-level Representation Learning for Action Recognition

Jiagang Zhu, Wei Zou+1 more|arXiv (Cornell University)|Nov 11, 2017

Human Pose and Action Recognition参考文献 47被引用数 13

ひとこと要約

本稿では、時間的ピラミッドプーリング層を用いてRGBおよびオプティカルフローの2つのストリームからスパarselyサンプルされたフレームレベル特徴を多スケールで、かつ順序に配慮した動画レベル特徴に統合する、エンド・トゥ・エンドの動画レベル表現学習手法である、時系列ピラミッドプーリングを備えた深層ネットワーク（DTPP）を提案する。DTPPはUCF101およびHMDB51で最先端性能を達成し、HMDB51では最大2.3%の向上を示し、ラテンフュージョンを用いることで96.2%の正確度に到達した。

ABSTRACT

From the frame/clip-level feature learning to the video-level representation building, deep learning methods in action recognition have developed rapidly in recent years. However, current methods suffer from the confusion caused by partial observation training, or without end-to-end learning, or restricted to single temporal scale modeling and so on. In this paper, we build upon two-stream ConvNets and propose Deep networks with Temporal Pyramid Pooling (DTPP), an end-to-end video-level representation learning approach, to address these problems. Specifically, at first, RGB images and optical flow stacks are sparsely sampled across the whole video. Then a temporal pyramid pooling layer is used to aggregate the frame-level features which consist of spatial and temporal cues. Lastly, the trained model has compact video-level representation with multiple temporal scales, which is both global and sequence-aware. Experimental results show that DTPP achieves the state-of-the-art performance on two challenging video action datasets: UCF101 and HMDB51, either by ImageNet pre-training or Kinetics pre-training.

研究の動機と目的

• 2ストリーム行動認識モデルにおける部分観測学習とエンド・トゥ・エンドでない学習の制限を解消すること。
• 従来の動画レベル表現学習手法における単一時間スケールモデリングの制限を克服すること。
• 判別力があり、かつ効率的な、コンactなグローバルで順序に配慮した動画レベル表現を構築すること。
• 動きの手がかりが重要となる、HMDB51のような困難なデータセットでの性能向上を図ること。
• 生動画入力から直接動画レベル予測を最適化できるエンド・トゥ・エンド学習を可能にすること。

提案手法

• 動画全体にわたってRGB画像およびオプティカルフローのスタックをスパースにサンプリングし、フレームレベル特徴を抽出する。
• 時間的ピラミッドプーリング層を適用して、フレームレベル特徴を固定サイズの多スケール動画レベル表現に統合する。
• 粗いスケールから細かいスケールへのアーキテクチャを採用し、複数の時間スケールで長距離の時間的依存関係を捉える。
• フレームレベル予測の集約を回避するため、動画レベルラベルを用いてネットワーク全体をエンド・トゥ・エンドで学習する。
• 特徴学習の向上を図るため、事前学習済みのImageNetまたはKineticsモデルをバックボーンネットワークの初期化に活用する。
• iDT や MIFS といった従来の手法とラテンフュージョンを採用し、さらなる性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 フレームレベルやクリップレベル学習と比較して、エンド・トゥ・エンドの動画レベル表現学習は行動認識性能を向上させ得るか？
• RQ2 時間的ピラミッドプーリング層による多スケール時間モデリングは、行動認識ベンチマークにおける判別力の向上に寄与するか？
• RQ3 エンド・トゥ・エンド学習は、非エンド・トゥ・エンド手法と比較して、動画レベル表現のロバストネスにどのような影響を与えるか？
• RQ4 動きの手がかりが微細で、動画が短いHMDB51のような困難なデータセットに、この手法はどの程度一般化可能か？
• RQ5 コンパクトで順序に配慮した動画レベル表現は、フレームレベルアンサンブルや高次元特徴に依存するモデルを上回る性能を発揮できるか？

主な発見

• DTPPはUCF101およびHMDB51で最先端性能を達成し、iDTおよびMIFSとフュージョンした場合、1モデルでの正確度がそれぞれ96.2%および76.3%に達した。
• HMDB51では、前回の最高性能1モデル手法を2.3%上回り、困難で動きに依存する行動認識において優れた性能を示した。
• Kineticsで事前学習を施した場合、UCF101ではBN-Inceptionを搭載したTSNを1.0%上回り、HMDB51では1.4%上回り、両データセットで最先端性能を達成した。
• フルフレーム入力とアンサンブルモデリングを採用するダイナミックイメージネットワークをも上回った。これは、多スケールでエンド・トゥ・エンド学習の優位性を示している。
• 可視化結果から、DTPPは「座る」「宙返り」「剣を引く」などの順序に基づく行動において、TSNを15%以上の正確度で上回った。
• 特にHMDB51では動きの手がかりが重要であるため、ラテンフュージョンにおける時間ストリームの重みを0.6に高く設定することで、顕著な性能向上が得られた。