[論文レビュー] Substructure and Boundary Modeling for Continuous Action Recognition

Zhaowen Wang, Jinjun Wang+3 more|arXiv (Cornell University)|Mar 9, 2012

Human Pose and Action Recognition参考文献 31被引用数 13

ひとこと要約

本稿では、状態空間フレームワーク内に、部分構造遷移モデルと判別的境界モデルを統合した連続アクション認識のための確率的グラフィカルモデルを提案する。時間的部分構造をモデル化し、判別的境界を介してアクション持続時間制約を課すことにより、公開および社内データセットにおいて顕著な性能向上を達成し、従来手法に比してセグメンテーションおよび認識精度で優れている。

ABSTRACT

This paper introduces a probabilistic graphical model for continuous action recognition with two novel components: substructure transition model and discriminative boundary model. The first component encodes the sparse and global temporal transition prior between action primitives in state-space model to handle the large spatial-temporal variations within an action class. The second component enforces the action duration constraint in a discriminative way to locate the transition boundaries between actions more accurately. The two components are integrated into a unified graphical structure to enable effective training and inference. Our comprehensive experimental results on both public and in-house datasets show that, with the capability to incorporate additional information that had not been explicitly or efficiently modeled by previous methods, our proposed algorithm achieved significantly improved performance for continuous action recognition.

研究の動機と目的

• 連続アクション認識におけるボトムアップおよび標準的なトップダウン手法の限界を克服するため、物理的に解釈可能な事前知識を組み込むこと。
• 状態空間モデルにおける部分構造遷移を用いて、人間のアクションの階層的かつ可変的な性質をモデル化すること。
• 持続時間制約を統合することで、アクション間の境界検出を改善すること。
• 部分構造と境界モデリングを1つのグラフィカル構造に統合することで、効果的な学習と推論を可能にすること。

提案手法

• 動的システム間の遷移を制御する隠れノード Z を用いた部分構造遷移モデルを導入し、アクション内における非一様な運動プリミティブを捉える。
• アクション持続時間 D を連続的隠れ状態 X および部分構造遷移 Z と関連付ける判別的境界モデルを採用し、境界局所化を改善する。
• ベイジアン推論を用いた生成的フレームワークにより、各フレームの事後確率を計算し、フレーム単位でのアクション部分構造認識を可能にする。
• 推論プロセスにおける高次元積分を簡略化するために、正規直交変換とガウス近似を適用する。
• 限られた学習データにおける過学習を防ぐために、遷移事前制約を組み込む。
• ロジスティック関数を用いて持続時間遷移の確率をモデル化し、判別的境界学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続アクション認識において、階層的かつ可変的な運動パターンを捉えるために、アクション内の部分構造遷移をどのようにモデル化できるか？
• RQ2 状態空間フレームワーク内において持続時間制約を強制することで、判別的境界モデリングがアクションセグメンテーション精度を向上させられるか？
• RQ3 物理的に解釈可能な事前知識（例：部分構造および持続時間）を、より良い推論を実現するための統一的グラフィカルモデルに効果的に統合できるか？
• RQ4 提案手法は、アクションクラスにおける大きな空間的・時間的変動に対処する上で、既存手法に比してどの程度優れているか？

主な発見

• 提案手法は、従来手法に比して、公開および社内データセットの両方で顕著な性能向上を達成し、セグメンテーションおよび認識精度が優れていることが示された。
• 部分構造遷移モデリングの統合により、多様な局所的運動統計を持つ複雑なアクションの処理がより効果的に行えるようになった。
• 判別的境界モデルにより、運動学的および環境的変動に対して頑健な方法で持続時間パターンを学習し、境界局所化が向上した。
• 正規直交変換とガウス近似の使用により、高次元連続状態空間における取り扱い可能な推論が可能になった。
• 明確な物理的解釈を持つ事前知識を効果的に統合することで、標準的な SLDS や他の DBN に基づくアプローチを上回った。
• 定量的評価では、F1スコアおよび正答率に顕著な向上が見られ、特に時間的変動が著しい困難なアクションクラスにおいて顕著であった。