[論文レビュー] Deep Analysis of CNN-based Spatio-temporal Representations for Action Recognition

Chun-Fu Chen, Rameswar Panda+5 more|arXiv (Cornell University)|Oct 22, 2020

Human Pose and Action Recognition参考文献 76被引用数 13

ひとこと要約

本論文は、複数のベンチマークで300を超えるモデルを分析する包括的なフレームワークを提示し、2次元（2D）および3次元（3D）畳み込みニューラルネットワーク（CNN）ベースの行動認識モデルの公平な比較を可能にする。その結果、効率性は著しく向上しているが、精度の向上は頭打ちとなっており、構造的差異にもかかわらず、2Dおよび3Dモデルは類似した空間時間的表現学習能力と転移性を示していることが明らかになった。

ABSTRACT

In recent years, a number of approaches based on 2D or 3D convolutional neural networks (CNN) have emerged for video action recognition, achieving state-of-the-art results on several large-scale benchmark datasets. In this paper, we carry out in-depth comparative analysis to better understand the differences between these approaches and the progress made by them. To this end, we develop an unified framework for both 2D-CNN and 3D-CNN action models, which enables us to remove bells and whistles and provides a common ground for fair comparison. We then conduct an effort towards a large-scale analysis involving over 300 action recognition models. Our comprehensive analysis reveals that a) a significant leap is made in efficiency for action recognition, but not in accuracy; b) 2D-CNN and 3D-CNN models behave similarly in terms of spatio-temporal representation abilities and transferability. Our codes are available at https://github.com/IBM/action-recognition-pytorch.

研究の動機と目的

• 補助的要素を排除することで、2Dおよび3D CNNベースの行動認識モデルの公平なベンチマークを確立すること。
• 2Dおよび3D CNNの行動認識における相対的性能および表現学習能力を調査すること。
• 大規模な動画データセットにおける最近のモデルの精度および効率の進歩を評価すること。
• 異なるアーキテクチャが学習する空間時間的表現の転移性および一般化可能性を分析すること。

提案手法

• 2Dおよび3D CNNモデル間の直接比較を可能にする統一されたトレーニングおよび評価フレームワークを開発し、モデル固有の最適化や余計な機能を排除した。
• Kinetics、Something-Something、Moments in Timeを含む複数の大規模な動画ベンチマークでのトレーニングおよび評価をサポートする。
• アーキテクチャ、時間的集約手法、トレーニングプロトコルを変化させた300を超えるモデルを用いた大規模なアブレーションスタディを実施した。
• FLOPsおよびメモリ使用量を用いてモデルの効率性を評価し、下流タスクでのゼロショット転移および微調整による表現品質を評価した。
• 転移学習性能を評価するために、事前学習済みImageNetおよびKineticsの重みを用い、学習から再構築したモデルのデータ効率性を分析した。
• 時間的集約モジュールの詳細なアブレーションを実施し、その精度および計算コストへの影響を比較した。

実験結果

リサーチクエスチョン

• RQ1 公平な比較設定下で、2Dおよび3D CNNベースのモデルは空間時間的表現学習能力においてどのように比較されるか？
• RQ2 最近のモデルは精度と効率の両面でどの程度向上したのか。両者の間にはトレードオフがあるのか？
• RQ3 2Dおよび3Dモデルの学習済み表現は、異なる行動認識ベンチマーク間でどの程度転移可能か？
• RQ4 異なる時間的集約戦略は、モデルの性能および計算コストにどのような影響を与えるか？
• RQ5 他の要因をすべて同等にした場合、3D CNNは2D CNNに比べて空間時間的ダイナミクスをモデル化する上で根本的な利点を有するのか？

主な発見

• FLOPsおよびメモリ使用量の削減が顕著に達成されたが、精度の向上に比して顕著な改善は見られなかった。
• 2Dおよび3D CNNモデルは、ベンチマーク全体を通じて、空間時間的表現学習能力および転移性においてほぼ同一の性能を示した。
• 同じ設定でトレーニングされた場合、2Dおよび3Dモデル間の性能差は縮小し、構造的差異そのものが一貫した優位性をもたらすわけではないことが示された。
• 時間的集約モジュールはモデルの効率性に顕著な影響を与え、一部の構成ではFLOPsを最大50％まで削減しながらも、同等の精度を維持できた。
• Kineticsなどの大規模なデータセットで事前学習することでゼロショット転移性能が向上したが、2Dおよび3Dアーキテクチャ間での向上幅は類似していた。
• 学習から再構築した結果、2Dモデルは少ないパラメータ数および計算量で競争力ある精度を達成でき、3D CNNが表現能力において本質的に優位であるとは言えないことが示唆された。