[論文レビュー] Histogram of Oriented Principal Components for Cross-View Action Recognition

Hossein Rahmani, Arif Mahmood+2 more|arXiv (Cornell University)|Sep 24, 2014

Human Pose and Action Recognition参考文献 51被引用数 4

ひとこと要約

本稿では、点群シーケンスからの視点不変3次元行動認識のため、方向付き主成分のヒストグラム（HOPC）と空間的時間的キーポイント（STKs）を提案する。局所的な空間的時間的ボリュームを主成分にあわせ、固有ベクトルを正12面体に射影することにより、HOPCは視点、スケール、速度の変化に対して強い耐性を示し、マルチビューおよびシングルビューのデータセットにおいて9つの最先端手法を上回る顕著な精度向上を達成した。

ABSTRACT

Existing techniques for 3D action recognition are sensitive to viewpoint variations because they extract features from depth images which are viewpoint dependent. In contrast, we directly process pointclouds for cross-view action recognition from unknown and unseen views. We propose the Histogram of Oriented Principal Components (HOPC) descriptor that is robust to noise, viewpoint, scale and action speed variations. At a 3D point, HOPC is computed by projecting the three scaled eigenvectors of the pointcloud within its local spatio-temporal support volume onto the vertices of a regular dodecahedron. HOPC is also used for the detection of Spatio-Temporal Keypoints (STK) in 3D pointcloud sequences so that view-invariant STK descriptors (or Local HOPC descriptors) at these key locations only are used for action recognition. We also propose a global descriptor computed from the normalized spatio-temporal distribution of STKs in 4-D, which we refer to as STK-D. We have evaluated the performance of our proposed descriptors against nine existing techniques on two cross-view and three single-view human action recognition datasets. The Experimental results show that our techniques provide significant improvement over state-of-the-art methods.

研究の動機と目的

• 従来の深度画像に依存する手法が視点に敏感であるのに対し、3次元点群シーケンスにおけるクロスビュー行動認識の課題に対処すること。
• さまざまな視点、スケール、行動速度にわたり、形状と運動を強固に捉える視点不変の局所幾何記述子を開発すること。
• HOPC記述子抽出に最適な視点不変性を確保するための識別的な空間的時間的キーポイント（STKs）を検出すること。
• STKの空間的時間的分布に基づくグローバル記述子STK-Dを導入し、認識性能を向上させること。
• 提案手法を新規および既存のマルチビューおよびシングルビュー3次元行動データセットで評価し、優れた性能を示すこと。

提案手法

• HOPCは、点群の局所的空間的時間的サポートボリュームの3つのスケーリングされた固有ベクトルを正12面体の頂点に射影することで計算され、局所的な幾何的および運動的特性が符号化される。
• STK検出は、一意な局所構造を持つ点を特定するための固有比の閾値を用いて行われ、視点間で強固で識別性の高い性能を発揮する。
• 各STKの空間的時間的サポートボリュームを、主成分によって定義される局所座標系にあわせることで視点不変性を達成し、方向を正規化する。
• 各STKにおける異なる時間窓サイズでの固有比の変動を最小化する自動時間スケール選択により、速度不変性を実現する。
• 検出されたSTKの正規化された4次元空間的時間的分布からグローバルなSTK-D記述子が計算され、グローバルな行動パターンが捉えられる。
• STKにおける局所的HOPC記述子とグローバルなSTK-D記述子を組み合わせることで、最終的な行動認識が実現され、局所的およびグローバルな情報の補完的性質が活用される。

実験結果

リサーチクエスチョン

• RQ1 3次元点群シーケンスにおいて、視点、スケール、行動速度の変化に対して耐性を持つ局所的幾何記述子を設計可能か？
• RQ2 HOPCのような視点不変の局所記述子と互換性を持つように、空間的時間的キーポイントをどのように検出できるか？
• RQ3 局所的HOPC記述子とグローバルなSTK-D記述子を組み合わせることで、クロスビュー行動認識の精度はどの程度向上するか？
• RQ4 提案手法は、マルチビューおよびシングルビュー3次元行動認識ベンチマークにおいて、最先端技術と比較してどのように評価されるか？
• RQ5 骨格データに依存しない状況、特に部分的可視性や非垂直ポーズの状況において、提案手法が高い性能を達成できるか？

主な発見

• 提案されたHOPCおよびSTKベースの手法は、ノースウエスタンUCLAマルチビュー行動3DおよびUWA3DマルチビューアクティビティIIデータセットの両方で最先端の性能を達成し、9つの既存手法を顕著に上回った。
• STK数が700まで広い範囲で安定した認識精度を示し、400個のSTKで最適な性能を達成した。これは、キーポイント数の変動に対しても耐性があることを示している。
• 固有比の閾値θ_STKが1.1から1.5の範囲で認識精度が安定した。これは、キーポイント検出のパラメータ設定に対して耐性があることを示している。
• 標準マシン上での平均処理時間は1フレームあたり2秒であり、近隣の競合手法AOG（1.4秒/フレーム）を精度面で上回りつつ、計算的に実行可能であった。
• 局所的HOPCとSTK-D記述子の組み合わせは、単独での使用よりも高い認識精度を達成した。これは、両者の補完的性質を確認するものであった。
• 骨格データに依存する手法（HOJ3DやLARP）と比較して、部分的可視性や非垂直ポーズの状況でも優れた性能を発揮した。これは、直接的に点群を処理し、関節推定に依存しないことによるものであった。