[論文レビュー] Temporal Pyramid Network for Action Recognition

Ceyuan Yang, Yinghao Xu+3 more|arXiv (Cornell University)|Apr 7, 2020

Human Pose and Action Recognition参考文献 46被引用数 23

ひとこと要約

本稿では、入力レベルのフレームピラミッドを必要とせず、2Dおよび3Dバックボーンが複数の時間スケールにわたってアクションを認識できるようにする汎用的な時系列ピラミッドネットワーク（TPN）を提案する。TPNは3D ResNet-50を用いたKinetics-400で2%の精度向上を達成し、視覚的テンポのばらつきが大きいアクションクラスで最も顕著な向上を示しており、動的時間的ダイナミクスをモデル化する有効性を裏付けている。

ABSTRACT

Visual tempo characterizes the dynamics and the temporal scale of an action. Modeling such visual tempos of different actions facilitates their recognition. Previous works often capture the visual tempo through sampling raw videos at multiple rates and constructing an input-level frame pyramid, which usually requires a costly multi-branch network to handle. In this work we propose a generic Temporal Pyramid Network (TPN) at the feature-level, which can be flexibly integrated into 2D or 3D backbone networks in a plug-and-play manner. Two essential components of TPN, the source of features and the fusion of features, form a feature hierarchy for the backbone so that it can capture action instances at various tempos. TPN also shows consistent improvements over other challenging baselines on several action recognition datasets. Specifically, when equipped with TPN, the 3D ResNet-50 with dense sampling obtains a 2% gain on the validation set of Kinetics-400. A further analysis also reveals that TPN gains most of its improvements on action classes that have large variances in their visual tempos, validating the effectiveness of TPN.

研究の動機と目的

• 既存のビデオアクション認識モデルにおける視覚的テンポばらつきの明示的モデリングの欠如に対処すること。
• 高価なマルチブランチの入力レベルでのフレームピラミッドを用いずに、クラス間およびクラス内での時間的ダイナミクスの多様性を持つアクションの認識を可能にすること。
• 2Dおよび3Dバックボーンを特徴量レベルで複数の時間スケールにわたる特徴を統合することで、即挿し可能なモジュールを構築すること。
• 実験的にTPNが視覚的テンポばらつきが大きいアクションクラスで最も顕著な性能向上を示すことを検証すること。

提案手法

• 単一のバックボーンネットワークの異なる深さからの特徴を統合することで、入力レベルでの複数レートでのフレームサンプリングを回避する特徴量レベルの時系列ピラミッドを提案する。
• 高速および低速のテンポダイナミクスを捉えるために、バックボーンの複数段階からの特徴を階層的に統合する戦略を採用する。
• 各アクションインスタンスの視覚的テンポばらつきを測定するための代理指標として、フレームごとの分類確率曲線の全幅半最大値（FWHM）を用いる。
• アーキテクチャの変更なしに、2Dおよび3Dモデル（例：I3D、ResNet-50）にTPNを補助モジュールとして適用し、即挿し統合を可能にする。
• 異なるストライドでの入力フレームの再サンプリングを実施することで、視覚的テンポ変動に対する耐性を評価するためのマルチスケール推論プロトコルを採用する。
• 性能向上と視覚的テンポばらつきとの相関関係を定量化するために、最小二乗近似を適用する。

実験結果

リサーチクエスチョン

• RQ1 入力レベルのマルチブランチフレームピラミッドを必要とせず、特徴量レベルでの時系列ピラミッドがアクション認識の精度向上に寄与するか？
• RQ2 TPNは多様な2Dおよび3Dバックボーンアーキテクチャにおいて一貫した向上を示すか？
• RQ3 TPNの性能向上が、視覚的テンポばらつきが大きいアクションクラスで最も顕著に現れるか？
• RQ4 アクターの速度の違いなどによって引き起こされる視覚的テンポの変動に対して、TPNはどれほど耐性があるか？
• RQ5 TPNは現実世界のアクションデータセットにおけるクラス内およびクラス間の視覚的テンポばらつきを効果的にモデル化できるか？

主な発見

• 32×2の密サンプリングを用いた3D ResNet-50と組み合わせた場合、TPNはKinetics-400の検証セットで2%の精度向上を達成した。
• TPNの性能向上は、視覚的テンポばらつきが大きいアクションクラスで顕著であり、精度向上とテンポばらつきとの間に正の相関関係があることが確認された。
• I3D-50 + TPNは、視覚的テンポ変動に対する耐性が向上し、フレームサンプリングレートを8×2から8×16に変更しても、ベースラインに比べて性能低下が小さい。
• モデルベースのFWHM測定は視覚的テンポばらつきを効果的に捉えており、サブマリオンが最も高いばらつきを示し、シーリング・シープが最も低いばらつきを示した。
• 32×2のより密な入力サンプリングでもI3D-50では過学習が生じるが、TPNの追加により過学習が緩和され、一貫した向上が維持された。
• アブレーションスタディにより、TPNの向上はアーキテクチャの変更そのものではなく、単一モデル内で多様な視覚的テンポをモデル化できる能力に起因することが確認された。