[論文レビュー] Learning Spatiotemporal Features with 3D Convolutional Networks

Du Tran, Lubomir Bourdev+3 more|arXiv (Cornell University)|Dec 2, 2014

Human Pose and Action Recognition参考文献 52被引用数 155

ひとこと要約

本稿では、小規模な$3\times3\times3$カーネルを用いて、ビデオクリップから直接空間時間特徴を学習する3次元畳み込みニューラルネットワーク、C3Dを提案する。大規模なビデオデータセットで訓練されたC3Dは、単純な線形分類器を用いて複数のベンチマークで最先端の性能を達成し、多様なビデオ分析タスクに適したコンパクトで効率的かつ汎用的なビデオ表現を提供する。

ABSTRACT

We propose a simple, yet effective approach for spatiotemporal feature learning using deep 3-dimensional convolutional networks (3D ConvNets) trained on a large scale supervised video dataset. Our findings are three-fold: 1) 3D ConvNets are more suitable for spatiotemporal feature learning compared to 2D ConvNets; 2) A homogeneous architecture with small 3x3x3 convolution kernels in all layers is among the best performing architectures for 3D ConvNets; and 3) Our learned features, namely C3D (Convolutional 3D), with a simple linear classifier outperform state-of-the-art methods on 4 different benchmarks and are comparable with current best methods on the other 2 benchmarks. In addition, the features are compact: achieving 52.8% accuracy on UCF101 dataset with only 10 dimensions and also very efficient to compute due to the fast inference of ConvNets. Finally, they are conceptually very simple and easy to train and use.

研究の動機と目的

• 多様なビデオ分析タスクに一般化可能な汎用的でコンパクトかつ効率的なビデオ記述子の開発。
• 3次元畳み込みネットワーク（3D ConvNets）が、空間的および時間的特徴を同時にモデル化する際、2次元畳み込みネットワーク（2D ConvNets）を上回る可能性があるかの調査。
• 3次元畳み込みネットワークにおける、特にカーネルサイズとネットワークの深さといった最適なアーキテクチャ的ハイパーパrameterの同定。
• タスク固有の微調整なしに、複数のベンチマークで単純な線形分類器を用いてC3D特徴の有効性を評価すること。

提案手法

• 大規模な教師ありビデオデータセット上で、すべての層に$3\times3\times3$畳み込みカーネルを用いた3次元畳み込みネットワークを訓練する。
• 空間的および時間的畳み込みを用いて、ビデオクリップから外観および運動パターンを同時に学習する。
• 平均プーリングと最終的な全結合層を適用して、固定長のビデオ埋め込みを生成する。
• 畳み込み層の各深さにおける学習済み特徴マップの可視化と解釈のため、逆畳み込みネットワークを用いる。
• 入力解像度を$64\times64$、$128\times128$、$256\times256$と変化させ、精度、パラメータ数、学習時間のトレードオフを評価する。
• 最終的なプールド特徴量に線形分類器を適用し、下流のビデオ認識タスクにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みネットワークは、2次元畳み込みネットワークよりも、ビデオアクション認識のためのより効果的な空間時間特徴を学習できるか？
• RQ2 3次元畳み込みネットワークがビデオ特徴を学習する際、最適なカーネルサイズとネットワークの深さは何か？
• RQ3 入力解像度は、3次元畳み込みネットワークの性能、パラメータ数、学習効率にどのように影響するか？
• RQ4 単純な線形分類器がC3D特徴と組み合わせられた場合、どれほど高い性能を達成できるか？
• RQ5 C3Dの学習済みフィルタは、ネットワークの異なる層でどのような運動および外観パターンを検出するか？

主な発見

• 3次元畳み込みネットワークは、2次元畳み込みネットワークよりも空間時間特徴を著しく効果的にモデル化でき、$128\times128$入力解像度で3.1%の精度向上がUcf101で確認された。
• すべての層に$3\times3\times3$カーネルを用いた均質なアーキテクチャが最良の性能を達成し、より大きなまたは混合サイズのカーネルよりも優れている。
• C3Dは、10次元の特徴量でのみ85.2%の精度を達成しており、高いコンパクト性と効率性を示している。
• UCF100ベンチマークでは、すべての利用可能な特徴（例：オプティカルフロー）を用いた場合に90.4%の精度を達成し、以前の最先端手法を上回った。
• 逆畳み込みの可視化から、初期層は低レベルの運動パターン（例：動くエッジ、ブロブ）を検出しているのに対し、深層では複雑な動作（例：自転車走行、円運動、顔のジェスチャー）を検出していることがわかった。
• C3D特徴はオプティカルフローに比べてより選択的であり、すべての動いているピxlsではなく、顕著な運動パターンに焦点を当てる。これは図15の比較で確認された。