[論文レビュー] StNet: Local and Global Spatial-Temporal Modeling for Action Recognition

Dongliang He, Zhichao Zhou+6 more|arXiv (Cornell University)|Nov 5, 2018

Human Pose and Action Recognition参考文献 34被引用数 23

ひとこと要約

StNetは、3Nチャネルのスーパーサブイメージを用いて局所的な空間時間的特徴をモデル化し、時間的Xceptionブロックを用いてグローバルなダイナミクスをモデル化する、新しい2D+時間的畳み込みアーキテクチャを提案する。Kinetics600では78.99%のトップ1精度を達成し、同等の3D-CNNと比較して5倍少ないFLOPsで最先端の性能を発揮する。また、UCF101ではInception-ResNet-V2を用いた転移学習で95.7%の精度を示す。

ABSTRACT

Despite the success of deep learning for static image understanding, it remains unclear what are the most effective network architectures for the spatial-temporal modeling in videos. In this paper, in contrast to the existing CNN+RNN or pure 3D convolution based approaches, we explore a novel spatial temporal network (StNet) architecture for both local and global spatial-temporal modeling in videos. Particularly, StNet stacks N successive video frames into a \emph{super-image} which has 3N channels and applies 2D convolution on super-images to capture local spatial-temporal relationship. To model global spatial-temporal relationship, we apply temporal convolution on the local spatial-temporal feature maps. Specifically, a novel temporal Xception block is proposed in StNet. It employs a separate channel-wise and temporal-wise convolution over the feature sequence of video. Extensive experiments on the Kinetics dataset demonstrate that our framework outperforms several state-of-the-art approaches in action recognition and can strike a satisfying trade-off between recognition accuracy and model complexity. We further demonstrate the generalization performance of the leaned video representations on the UCF101 dataset.

研究の動機と目的

• 大規模なアクション認識のための効果的な空間時間的モデリングの課題に取り組む。
• CNN+RNNや3D-CNNアーキテクチャの限界、たとえば学習の不安定性や高い計算コストを克服する。
• 局所的およびグローバルな空間時間的ダイナミクスを統合的にモデル化できる、軽量でエンドツーエンド微分可能なアーキテクチャを開発する。
• モデルの効率性と表現品質を向上させ、UCF101のような下流データセットにおける一般化性能を向上させる。

提案手法

• N個の連続するRGBフレームを3Nチャネルテンソルにスタックすることでスーパーサブイメージを構築し、局所的な空間時間的特徴の学習に2D畳み込みを可能にする。
• 2D特徴マップに対して時間的1次元畳み込みを適用し、時間的なシーケンス全体にわたる長距離の時間的依存性をモデル化する。
• 時間的Xceptionブロック（TXB）を導入し、分離可能なディープワイドおよびポイントワイド1次元畳み込みを用いて時間的モデリングを効率化する。
• 再帰的アーキテクチャ（LSTM/GRUなど）を避けることで、より良い学習安定性を実現するエンドツーエンドの確率的勾配降下（SGD）最適化を採用する。
• Kinetics600での事前学習により、UCF101のような小さなデータセットへの転移に適した汎用的な動画表現を学習する。
• 予測の解釈を可能にするために、クラスアクティベーションマッピング（CAM）を適用する。

実験結果

リサーチクエスチョン

• RQ1 スーパーサブイメージ上での2D畳み込みベースのアーキテクチャは、動画の局所的な空間時間的特徴を効果的に捉えることができるか？
• RQ2 専用の時間的畳み込みモジュール（TXB）は、スコア平均化やRNNと比較して、長距離の時間的ダイナミクスをより効果的にモデル化できるか？
• RQ3 提案されたStNetアーキテクチャは、FLOPsとモデルの複雑さを削減しながら、3D-CNNを上回る精度を達成できるか？
• RQ4 学習された表現は、UCF101のような小さなデータセットにおける下流のアクション認識タスクにどの程度一般化できるか？
• RQ5 可視化により、モデルがどの程度アクションに関連する空間時間的領域に注目しているか？

主な発見

• StNet-IRv2は、439.57G FLOPsでKinetics600で78.99%のトップ1精度を達成し、FLOPsが3倍増加したP3D-ResNet152（71.31%）を上回る。
• StNet-ResNet50はわずか53G FLOPsでトップ1精度69.85%を達成し、同等の計算コスト下でC3D-ResNet50（64.65%）を上回る。
• 10クロップテストを適用した場合、StNet-ResNet50は71.86%の精度に達し、同じモデルが要する1648.4G FLOPsと比較してFLOPsを5倍以上削減する。
• StNet-IRv2は123G FLOPsでUCF101で95.7%の平均クラス精度を達成し、同程度のFLOP制約下でのRGBモデルとして新たな最先端を記録した。
• 可視化結果から、StNetはポーカーの手の動きや眉を描く動作に関連する領域（例：手、眉）に注目しているのに対し、TSNは関係のない顔の領域にアクティベートされている。
• 時間的Xceptionブロックにより、効率的でエンドツーエンド最適化可能な時間的モデリングが可能となり、スコア平均化やRNNと比較して優れた時間的モデリング性能を示す。