[論文レビュー] Interpretable Deep Feature Propagation for Early Action Recognition

He Zhao, Richard P. Wildes|arXiv (Cornell University)|Jul 11, 2021

Human Pose and Action Recognition参考文献 80被引用数 7

ひとこと要約

本論文は、中間層のConvNet特徴を活用し、学習された残差生成ネットワーク（RGN）を用いて時間的に特徴の残差を伝播させる、早期行動認識のための新規で解釈可能な深層特徴伝播フレームワークを提案する。さらに、誤差蓄積を低減するために、適応型カルマンフィルタで強化されたRGNを用いる。本手法はUCF101、JHMDB21、BIT-Interactionデータセットで最先端の性能を達成するとともに、RGNが運動パターンを捉える空間的シフトメカニズムとして機能し、カルマンフィルタがリアルタイム推定誤差に基づいて予測を適応的に補正することにより、解釈可能性を提供する。

ABSTRACT

Early action recognition (action prediction) from limited preliminary observations plays a critical role for streaming vision systems that demand real-time inference, as video actions often possess elongated temporal spans which cause undesired latency. In this study, we address action prediction by investigating how action patterns evolve over time in a spatial feature space. There are three key components to our system. First, we work with intermediate-layer ConvNet features, which allow for abstraction from raw data, while retaining spatial layout. Second, instead of propagating features per se, we propagate their residuals across time, which allows for a compact representation that reduces redundancy. Third, we employ a Kalman filter to combat error build-up and unify across prediction start times. Extensive experimental results on multiple benchmarks show that our approach leads to competitive performance in action prediction. Notably, we investigate the learned components of our system to shed light on their otherwise opaque natures in two ways. First, we document that our learned feature propagation module works as a spatial shifting mechanism under convolution to propagate current observations into the future. Thus, it captures flow-based image motion information. Second, the learned Kalman filter adaptively updates prior estimation to aid the sequence learning process.

研究の動機と目的

• 限られた時間的文脈におけるリアルタイムストリーミングビジョンシステムにおける早期行動認識の課題に対処すること。
• 完全な行動シーケンスに依存せず、空間的特徴空間における進化する行動パターンをモデル化することで性能を向上させること。
• 行動予測におけるディープラーニングコンponents、特に残差伝播とカルマンフィルタリング機構の解釈性を高めること。
• 予測不確実性に適応するカルマンフィルタを統合することで、長期予測における誤差蓄積を低減すること。
• 学習されたコンponents（RGNとカルマンフィルタ）が運動ダイナミクスをどのように捉え、予測を安定化させるかに関する洞察を提供すること。

提案手法

• 事前学習済みのConvNetの中間層特徴を用いることで、生データからの抽象化を可能にしつつも、空間的構造を保持する。
• 特徴そのものを直接伝播する代わりに、時間的に隣接する特徴マップ間の差分（残差）を伝播させることで、情報豊富でコンactな表現を実現する。
• 残差生成ネットワーク（RGN）は、初期観測に基づいて将来の残差を再帰的に予測し、残差の加算によって将来の特徴を再構築する。
• 適応型カルマンフィルタを統合し、状態推定とイノベーション更新を用いてリアルタイムで予測誤差を補正し、長期予測の安定性を向上させる。
• トレーニング中は全動画シーケンスにわたってエンドツーエンドで訓練され、推論時には観測済みの部分シーケンスにのみ適用される。
• 最終的な行動分類のために、初期観測特徴と予測特徴を組み合わせることで、早期意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 限られた時間的文脈下で、早期行動認識に適したコンパクトで安定した深層特徴伝播はどのように実現できるか？
• RQ2 学習された残差伝播メカニズムは、動画特徴における運動ダイナミクスをどのようにモデル化しているか？
• RQ3 適応型カルマンフィルタは、逐次的特徴予測における予測安定性を向上させ、誤差蓄積をどのように低減するか？
• RQ4 モデルの内部コンponents（RGNとカルマンフィルタ）の機能的役割をどの程度解釈できるか？
• RQ5 本手法は、多様な行動データセットにおいて、先行手法と比較して精度と頑健性の面でどのように優れているか？

主な発見

• 提案手法はUCF100、JHMDB21、BIT-Interactionデータセットで最先端の性能を達成し、既存手法を上回る早期行動認識性能を示した。
• 学習されたRGNモジュールは、運動に基づく画像フローを暗黙的に捉える空間的シフトメカニズムとして機能し、特徴の時間的進化を効果的にモデル化している。
• カルマンフィルタは予測誤差に応じてゲインを適応的に調整し、運動方向の急激な変化時にはより大きな補正を提供することで、複雑な運動シナリオにおける頑健性を向上させた。
• 予測と観測の差分を入力として使用する本手法の新しいカルマンフィルタ定式化は、従来の手法（予測と観測の生入力を使用）と比較して露出バイアスを低減した。
• 新規のカルマンフィルタ設計により、特に運動変化が稀な状況下で、JHMDB21およびUCF101で観測比率が低い場合に顕著な精度向上が得られた。
• UCF101では、行動が連続的かつ動的変化を示すため、従来のカルマンアプローチと比較して性能向上が小さいが、両手法とも高い一貫性のあるカルマンゲインを必要としているためである。