[論文レビュー] Long-term Temporal Convolutions for Action Recognition

Gül Varol, Ivan Laptev+1 more|arXiv (Cornell University)|Apr 15, 2016

Human Pose and Action Recognition参考文献 29被引用数 137

ひとこと要約

本論文は、3D CNN における長期的時間的畳み込み（LTC）を導入し、アクションの拡張された時間的構造をモデル化します。特にフローとRGBストリームをIDT特徴と組み合わせた場合に、UCF101およびHMDB51で最先端の結果を示します。

ABSTRACT

Typical human actions last several seconds and exhibit characteristic spatio-temporal structure. Recent methods attempt to capture this structure and learn action representations with convolutional neural networks. Such representations, however, are typically learned at the level of a few video frames failing to model actions at their full temporal extent. In this work we learn video representations using neural networks with long-term temporal convolutions (LTC). We demonstrate that LTC-CNN models with increased temporal extents improve the accuracy of action recognition. We also study the impact of different low-level representations, such as raw values of video pixels and optical flow vector fields and demonstrate the importance of high-quality optical flow estimation for learning accurate action models. We report state-of-the-art results on two challenging benchmarks for human action recognition UCF101 (92.7%) and HMDB51 (67.2%).

研究の動機と目的

• 数秒にわたるアクションの長距離の時空的構造を捉える動画表現の学習を動機づける。
• 空間解像度とモデルの複雑さのバランスをとりつつ、LTC（長期的時間的畳み込み）を調査して時間的領域を拡張する。
• 特に高品質な光学フローを含む、さまざまな低レベル表現がアクション認識に与える影響を評価する。
• LTCベースのモデルに対するデータ拡張、事前学習、および多モーダル融合（RGB、flow、IDT）の利点を評価する。
• LTCが時間的パターンをどのように学習し、データセット間での性能にどのように影響するかについての洞察を提供する。

提案手法

• 3x3x3フィルタを使用し、進行的な時間的広がりを持つ5つの時空間畳み込み層を備えた3D CNNアーキテクチャを提案する。
• 16フレーム対60フレームの入力設定を比較し、最大100フレームまでの時間的広がりを探索する。
• RGBおよびフロー入力（MPEG flow、Farneback、Brox）を評価し、識別に対する光学フロー品質の影響を調べる。
• データ拡張（ランダムクリッピング、マルチスケールクロッピング）とドロップアウトを用い、ゼロからの学習またはファインチューニングで訓練する。
• UCF101とHMDB51で訓練し、クリップレベルとビデオレベルの正確度を報告し、マルチクロップとマルチクリップ平均で評価する。
• RGBネットワークの大規模データセット（Sports-1M）での事前学習を調査し、HMDB51でファインチューニング、RGBとflowストリームの遅融合を探究し、IDT特徴と組み合わせることも検討する。

実験結果

リサーチクエスチョン

• RQ1 3D CNNs（LTC）における時間的広がりを増やすと、アクション認識の性能にどう影響するか？
• RQ2 入力モダリティ（RGB対光学フロー）とフロー品質がLTCベースのモデルに与える影響は？
• RQ3 制限されたデータでLTCの性能を最も改善するデータ拡張戦略は何か？
• RQ4 大規模データセットでRGBネットワークを事前学習することは、時間的拡張を行う際にLTCの性能を向上させるか？
• RQ5 多解像度LTCと多モーダル入力の組み合わせは、単一ストリームモデルに対して補完的な利益をもたらすか？

主な発見

• 長期的時間的畳み込みは、短いフレームのネットワークと比べてクリップレベルおよびビデオレベルの精度を著しく向上させる（例：60f対16f）。
• 光学フロー入力、特に高品質なBroxフローは、LTCベースのアクション認識でRGB入力を上回る。
• データ拡張（ランダムクリッピング、マルチスケールクロッピング）と高いドロップアウトは性能を大幅に向上させる。
• Sports-1MでRGB LTCネットワークを事前学習し、時間的広がりを拡張することでUCF101で顕著な利益をもたらす。
• フローとRGBのLTCストリームを組み合わせると大きな利益を生み、LTC Flow+RGB+IDT は UCF101 (92.7%) および HMDB51 (67.2%) で最先端の結果を達成する。
• 最初の層の3Dフィルタの分析は、LTC が表現力のある時空間モーションパターンを学習することを示し、上位層のフィルタはより高いクラス純度を示す。