[論文レビュー] Pose Estimation from a Single Depth Image for Arbitrary Kinematic Skeletons

Daniel Ly, Ashutosh Saxena+1 more|arXiv (Cornell University)|Jun 27, 2011

Human Pose and Action Recognition参考文献 11被引用数 11

ひとこと要約

本稿では、進化的アルゴリズムを用いて関節角度とリンク長を最適化することで、1枚の深度画像から任意の運動キネマティックスケルトンのトレーニングフリーなポーズ推定手法を提案する。自己遮蔽が著しく発生しても、39自由度のクモ型スケルトンで99%、78自由度の人型スケルトンで84%の高い精度を達成し、高次元空間における勾配上昇ベースラインを上回る性能を示した。

ABSTRACT

We present a method for estimating pose information from a single depth image given an arbitrary kinematic structure without prior training. For an arbitrary skeleton and depth image, an evolutionary algorithm is used to find the optimal kinematic configuration to explain the observed image. Results show that our approach can correctly estimate poses of 39 and 78 degree-of-freedom models from a single depth image, even in cases of significant self-occlusion.

研究の動機と目的

• 事前に学習やドメイン特化データが不要な、任意の運動キネマティックスケルトンのポーズ推定を可能にすること。
• スケルトン構造が未知または非標準な場合に、1枚の深度画像から3次元ポーズを推定する課題に対処すること。
• 特定のスケルトン用に大量のトレーニングや人手によるアノテーションデータに依存する既存手法の限界を克服すること。
• キネマティック構造と深度画像のみを用いてポーズを推定する汎用的でモデルベースのアプローチを開発すること。
• 従来の手法が失敗するような、顕著な自己遮蔽を伴う高次元スケルトンにおける性能を評価すること。

提案手法

• ポーズ推定を、ポイント対モデル距離に基づくロバストな誤差関数を最小化する非凸最適化問題として定式化する。
• 誤差関数には、外れ値への感受性を低減するためのログバリアント項を用い、深度画像の点間隔から導出されるスケールパラメータσを用いる。
• 局所最適解に陥るのを避けるために、関節パラメータとリンク長の高次元パラメータ空間を探索する進化的アルゴリズムを採用する。
• 標準的な進化的演算子を用いる：関節パラメータのランダム変異と、親スケルトン間の構造的ブランチの再結合。
• パラメータ化可能な関節角度と長さを持つリンクの非巡回グラフとしてスケルトンを表現し、柔軟な設定を可能にする。
• 適合度は、スケルトンモデルを深度画像に投影し、観測点ごとの最近接点距離を測定することで評価する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要な手法は、1枚の深度画像から任意の運動キネマティックスケルトンのポーズを推定できるか？
• RQ2 自己遮蔽を伴う高次元スケルトン（例：78自由度）において、進化的アルゴリズムはどの程度の性能を示すか？
• RQ3 複雑で非凸な最適化領域において、勾配ベース手法（例：勾配上昇）に比べて進化的手法は優れているか？
• RQ4 キネマティック構造と深度画像のみが与えられた場合、どの程度の精度でポーズを回復できるか？
• RQ5 実世界の深度画像におけるノイズや自己遮蔽による欠損データに対して、この手法はどの程度の耐性を示すか？

主な発見

• 進化的アルゴリズムは、顕著な自己遮蔽がある中でも、39自由度のクモ型スケルトンでリンクの配置に99%の正確さを達成した。
• 78自由度の人型スケルトンでは、リンク配置の正確さが84%に達し、高次元の構成空間に対しても高い耐性を示した。
• 5段階の定性的スコアリングで、クモ型スケルトンは4.9点、人型スケルトンは4.1点を獲得し、視覚的類似性が顕著に高いことを示した。
• 高次元の人型スケルトンにおいて、進化的手法は勾配上昇ベースラインを著しく上回り、真値から著しく逸脱する局所最適解を回避できた。
• 低次元のクモ型スケルトンにおいても、進化的手法は勾配上昇をわずかに上回り、複雑な最適化領域における一貫した優位性を示した。
• クモ型スケルトンでは1画像あたり約30分（1コア2.8GHz）、人型スケルトンでは70分を要し、評価回数は10^9回にのぼった。