[論文レビュー] Temporal Segment Networks for Action Recognition in Videos

Limin Wang, Yuanjun Xiong+5 more|arXiv (Cornell University)|May 8, 2017

Human Pose and Action Recognition参考文献 59被引用数 53

ひとこと要約

時系列セグメントネットワーク（TSN）を導入し、スパースなセグメントサンプリングとセグメンタルコンセンサスを用いて動画の長期的な時間構造をモデリングし、複数のアクション認識ベンチマークで最先端を達成し、RGB差分ベースのリアルタイム動作を実現。

ABSTRACT

Deep convolutional networks have achieved great success for image recognition. However, for action recognition in videos, their advantage over traditional methods is not so evident. We present a general and flexible video-level framework for learning action models in videos. This method, called temporal segment network (TSN), aims to model long-range temporal structures with a new segment-based sampling and aggregation module. This unique design enables our TSN to efficiently learn action models by using the whole action videos. The learned models could be easily adapted for action recognition in both trimmed and untrimmed videos with simple average pooling and multi-scale temporal window integration, respectively. We also study a series of good practices for the instantiation of TSN framework given limited training samples. Our approach obtains the state-the-of-art performance on four challenging action recognition benchmarks: HMDB51 (71.0%), UCF101 (94.9%), THUMOS14 (80.1%), and ActivityNet v1.2 (89.6%). Using the proposed RGB difference for motion models, our method can still achieve competitive accuracy on UCF101 (91.0%) while running at 340 FPS. Furthermore, based on the temporal segment networks, we won the video classification track at the ActivityNet challenge 2016 among 24 teams, which demonstrates the effectiveness of TSN and the proposed good practices.

研究の動機と目的

• 動画の長距離時間構造をアクション認識のためにモデル化する。
• 全動画を扱うためにスパースサンプリングを用いる動画レベルのフレームワークを開発する。
• 階層的集約を通じて、トリム済みおよび未トリムの動画でTSNを動作させる。
• 限られたデータで深いアクションモデルを訓練する際の良い実践を特定する。

提案手法

• 動画をKセグメントに分割し、各セグメントから1つのスニペットをサンプルする。
• 共有ConvNetを用いて各スニペットを処理し、スニペットスコアを得る。
• 柔軟なコンセンサス関数（最大、平均、Top-K、重み付き、アテンション）でスニペットスコアを集約する。
• 未トリム動画にモデルを適用するためにMulti-scale Temporal Window Integration（M-TWI）を使用する。
• 限られたデータでの訓練を改善するためのクロスモダリティ初期化と部分バッチ正規化を探索する。
• RGB、光学フロー、RGB差分、ワープドフローなどのモダリティを含む実験を行う。

実験結果

リサーチクエスチョン

• RQ1 長距離の時間構造を、軽量なサンプリング戦略で動画のアクション認識に対して効果的に捕捉するにはどうすればよいか？
• RQ2 セグメントベースの集約フレームワークは、トリム済みおよび未トリムの動画の両方で正確な認識を可能にするか？
• RQ3 限られたデータの下で、どの入力モダリティと訓練手法が性能を最も向上させるか？
• RQ4 さままざまな集約戦略が動画レベルの予測と訓練ダイナミクスにどのような影響を与えるか？
• RQ5 クロスモダリティ初期化と部分BNがモデル性能に与える影響は？

主な発見

• HMDB51で71.0%、UCF101で94.9%、THUMOS14で80.1%、ActivityNet v1.2で89.6%の最先端精度を達成。
• RGB-differenceを動作入力とすると、UCF101で91.0%を340 FPSで達成可能。
• フレームのトリム柔軟性をサポートし、未トリム動画にはマルチスケール時相窓統合で強い結果を達成。
• 5つの集約関数を導入し、Top-Kプーリングとアテンション重み付けが背景へのロバスト性を改善することを示した。
• クロスモダリティ初期化と部分BNが、限られたデータでの深層モデル訓練を助けることを検証した。