[論文レビュー] PAN: Towards Fast Action Recognition via Learning Persistence of Appearance

Can Zhang, Yuexian Zou+2 more|arXiv (Cornell University)|Aug 8, 2020

Human Pose and Action Recognition参考文献 49被引用数 32

ひとこと要約

PAN は、光学フローを軽量な Persistence of Appearance (PA) キューとさまざまな時間尺度の集合プーリング (VAP) に置換する、アクション認識の高速かつエンドツーエンドのフレームワークを提示する。長期ダイナミクスをモデル化し、リアルタイム性能と高精度を両立。

ABSTRACT

Efficiently modeling dynamic motion information in videos is crucial for action recognition task. Most state-of-the-art methods heavily rely on dense optical flow as motion representation. Although combining optical flow with RGB frames as input can achieve excellent recognition performance, the optical flow extraction is very time-consuming. This undoubtably will count against real-time action recognition. In this paper, we shed light on fast action recognition by lifting the reliance on optical flow. Our motivation lies in the observation that small displacements of motion boundaries are the most critical ingredients for distinguishing actions, so we design a novel motion cue called Persistence of Appearance (PA). In contrast to optical flow, our PA focuses more on distilling the motion information at boundaries. Also, it is more efficient by only accumulating pixel-wise differences in feature space, instead of using exhaustive patch-wise search of all the possible motion vectors. Our PA is over 1000x faster (8196fps vs. 8fps) than conventional optical flow in terms of motion modeling speed. To further aggregate the short-term dynamics in PA to long-term dynamics, we also devise a global temporal fusion strategy called Various-timescale Aggregation Pooling (VAP) that can adaptively model long-range temporal relationships across various timescales. We finally incorporate the proposed PA and VAP to form a unified framework called Persistent Appearance Network (PAN) with strong temporal modeling ability. Extensive experiments on six challenging action recognition benchmarks verify that our PAN outperforms recent state-of-the-art methods at low FLOPs. Codes and models are available at: https://github.com/zhang-can/PAN-PyTorch.

研究の動機と目的

• 時間のかかる光学フローへの依存を減らすことで、高速なアクション認識を動機づける。
• 境界モーションに焦点を当てた効率的なモーションキューとして Persistence of Appearance (PA) を導入する。
• 軽量な PA モジュールを開発し、時間融合戦略（VAP）と統合して PAN を形成する。
• PA の2つのエンコーディング方式を検討し、性能と効率を比較する。
• 時間的に支配的なデータセットとシーン支配的なデータセットの両方で PAN の有効性を示す。

提案手法

• PA を、画像空間から特徴空間へ明るさの保存性を拡張することにより定義し、画素ごとの特徴差を用いて境界モーションを捉える。
• 隣接フレームから PA サリエンシーマップを出力する、単一の低レベル畳み込み層（8×7×7 フィルタ）を用いた PA モジュールを実装する。
• 2つのエンコーディング方式を使用する：e1（PA をモーションモダリティとして）と e2（PA をアテンションとして）; e1 は PA を直接バックボーンに入力し、e2 は PA を用いて外観特徴を変調する。
• PAN を2つのバリアントで構築する：PAN Full（後で融合する別々の RGB および PA ブランチ）と PAN Lite（結合 RGB+PA 入力を処理する統一バックボーン）。
• Various-timescale Aggregation Pooling (VAP) を導入し、マルチタイムスケールのプーリングと時系列間の適応ウェイト付けを通じて長距離の時系列情報を融合する。

実験結果

リサーチクエスチョン

• RQ1 PA は、アクション認識において光学フローよりも効率的に等価なモーション情報を捉えることができるか。
• RQ2 PA が深いバックボーンとグローバルな時間融合戦略（VAP）と組み合わせたとき、時系列モデリングにどのように寄与するか。
• RQ3 PAN においてどの PA エンコーディング方式が認識性能と効率の点でより良いか。
• RQ4 PAN Full と PAN Lite は、時間的に支配的なデータセットとシーン支配的なデータセットで補完的な性能を示すか、あるいはトレードオフをもたらすか。

主な発見

• PA は非常に効率的（8196 fps）で、UCF101 分割1で強い精度（89.5%）を達成し、実行時間でいくつかの光学フローベース手法を上回りつつ、競争力のある精度を維持する。
• PA をモーションモダリティとしてエンコードする（e1）は、光学フローを注意としてエンコードする（e2）に比べ、精度と効率の両方で UCF101 で優れている。e2 は遅く、わずかに精度が劣る。
• PAN Full と PAN Lite は、時間的に支配的なデータセットとシーン支配的なデータセットの両方で高い成果を達成し、事前計算済み光学フローなしの高速なアクション認識を検証する。
• VAP は、軽量なパラメータで複数の時間スケールにまたがる長距離の時系列モデリングを効果的に実現し、ビデオレベルの表現を向上させる。
• 従来の光学フロー法（TV-L1、FlowNet系）と比較して、PA は競争力のある精度で著しく高い速度を提供する。