[論文レビュー] Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition

Kensho Hara, Hirokatsu Kataoka+1 more|arXiv (Cornell University)|Aug 25, 2017

Human Pose and Action Recognition参考文献 17被引用数 79

ひとこと要約

この論文は ResNet を 3D 畳み込みに拡張し、アクション認識の時空間特徴を学習する。Kinetics での大規模事前学習を用いた C3D および RGB-I3D のベースラインと比較し、強力な性能を示す。

ABSTRACT

Convolutional neural networks with spatio-temporal 3D kernels (3D CNNs) have an ability to directly extract spatio-temporal features from videos for action recognition. Although the 3D kernels tend to overfit because of a large number of their parameters, the 3D CNNs are greatly improved by using recent huge video databases. However, the architecture of 3D CNNs is relatively shallow against to the success of very deep neural networks in 2D-based CNNs, such as residual networks (ResNets). In this paper, we propose a 3D CNNs based on ResNets toward a better action representation. We describe the training procedure of our 3D ResNets in details. We experimentally evaluate the 3D ResNets on the ActivityNet and Kinetics datasets. The 3D ResNets trained on the Kinetics did not suffer from overfitting despite the large number of parameters of the model, and achieved better performance than relatively shallow networks, such as C3D. Our code and pretrained models (e.g. Kinetics and ActivityNet) are publicly available at https://github.com/kenshohara/3D-ResNets.

研究の動機と目的

• アクション認識の向上を目指し、残差ネットワークを 3D CNN に適用して時空間特徴をより良くモデル化する。
• 3D kernels とアイデンティティショートカットを備えた 3D ResNet アーキテクチャを提案し、深いモデルの訓練を可能にする。
• 大規模ビデオデータセット（Kinetics）で 3D ResNet を評価し、過学習と性能を検討する。
• 再現性のための事前訓練済み 3D ResNet モデルと訓練の詳細を提供する。

提案手法

• ResNet アーキテクチャを 3D 畳み込みと 3x3x3 カーネルのプーリングに拡張する。
• 標準の ResNet 風の残差ブロックとアイデンティティショートカットを用いて、入力として 16 フレームの RGB クリップを使用する。
• Kinetics で SGD による訓練を行い、データ拡張としてランダムな時間的サンプリング、マルチスケールクロップ、水平反転を実施する。
• 16 フレームのクリップ上でスライディングウィンドウ方式を用いて評価し、クリップ間でクラス確率を平均化する。
• 深さと事前学習の効果を評価するために C3D*（BNあり・なし）および RGB-I3D ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 3D CNN に ResNet 風の残差ブロックを適用することで、大規模データセットでのアクション認識性能が向上するか。
• RQ2 Kinetics でスクラッチから訓練した場合、深い 3D ResNet は C3D および RGB-I3D のベースラインとどのように比較されるか。
• RQ3 アクション認識における 3D CNN の過学習に対して、事前学習とデータセット規模がどのような影響を与えるか。
• RQ4 深い 3D ResNet を効果的に訓練するために必要な実践的な訓練上の考慮事項（バッチサイズ、GPU 使用法）は何か。

主な発見

• 3D ResNet-34 は Kinetics で C3D ベースラインより精度が高く、3D カーネルを用いた深さがアクション認識に有利であることを示している。
• Kinetics でスクラッチから訓練した 3D ResNet は過学習を起こさず、適切な資源があれば RGB-I3D 構成のいくつかと競合するか、それを上回る。
• Sports-1M での事前学習は浅い 3D CNN（C3D）に有効だが、より深い 3D ResNet は大規模データで依然として利益を得られ、Sports-1M 事前学習を必須としない。
• ImageNet 事前学習なしの RGB-I3D は報告されたベースラインの中で最高の性能を達成しており、十分なデータを用いた深い 3D アーキテクチャの価値を強調する。
• 著者らは再現性のための公開コードと事前学習済みの 3D-ResNets モデルを提供している。