[論文レビュー] Direction matters: hand pose estimation from local surface normals

Chengde Wan, Angela Yao+1 more|arXiv (Cornell University)|Apr 10, 2016

Hand Gesture Recognition Systems参考文献 23被引用数 12

ひとこと要約

本論文では、局所的な表面法線を用いて頑健な局所基準座標系を確立することで、単一の深度画像からの3次元手のポーズ推定のための階層的回帰フレームワークを提案する。表面法線に基づく角度差特徴を有するフレーム条件付き回帰フォレストを導入することで、ICLVでは最先端の性能を達成し、MSRAでは競争力ある結果を示す。40mm未満の誤差率において、従来の判別的手法に比べ最大14%の誤差率低下を達成し、平面内回転に対して不変であり、データ増強への依存を軽減する。

ABSTRACT

We present a hierarchical regression framework for estimating hand joint positions from single depth images based on local surface normals. The hierarchical regression follows the tree structured topology of hand from wrist to finger tips. We propose a conditional regression forest, i.e., the Frame Conditioned Regression Forest (FCRF) which uses a new normal difference feature. At each stage of the regression, the frame of reference is established from either the local surface normal or previously estimated hand joints. By making the regression with respect to the local frame, the pose estimation is more robust to rigid transformations. We also introduce a new efficient approximation to estimate surface normals. We verify the effectiveness of our method by conducting experiments on two challenging real-world datasets and show consistent improvements over previous discriminative pose estimation methods.

研究の動機と目的

• 視点の変化や自己遮蔽といった困難な条件下でも、単一の深度画像からの3次元手のポーズ推定の精度を向上させること。
• 局所的な表面法線を基準座標系として活用することで、手のポーズ推定における剛体変換への感度を低減すること。
• 平面内回転に対して不変であり、データ増強の必要がない、頑健で効率的な回帰用特徴を開発すること。
• 局所的な幾何構造と事前推定値から導出される条件付き特徴を用いて、手首から指先へと階層的に関節を推定すること。
• GPUに依存しないリアルタイム性能を実現し、HCIおよびARアプリケーションに適したものとすること。

提案手法

• 単位ベクトル分布に特化したランダムフォレストベースの回帰アプローチを用いて、深度点群から表面法線を推定する。
• 平面内回転に対して不変であり、深度差特徴よりも頑健な、局所的な表面法線間の角度差特徴を新たに提案する。
• 各回帰段階で、現在の点の法線または事前に推定された関節位置によって定義される局所基準座標系を持つフレーム条件付き回帰フォレスト（FCRF）を提案する。
• FCRFは局所座標系に対する関節オフセットを回帰することで、グローバルな剛体変換に対する頑健性を向上させる。
• 階層的回帰は手首から指先へと進行し、各段階を過去の推定値と局所的な幾何特徴に条件づける。
• 木構造の手モデルを用いてスケルトン制約を暗黙的に符号化し、関節推定のばらつきを低減する。

実験結果

リサーチクエスチョン

• RQ1 局所的な表面法線は、深度画像からの3次元手のポーズ推定を向上させる有効な幾何特徴として効果的に利用可能か？
• RQ2 深度差特徴の代わりに法線間の角度差特徴を用いることで、視点の変化や剛体変換に対してより頑健になるか？
• RQ3 局所基準座標系に条件づけられた階層的回帰フレームワークは、直接的な関節推定と比較して精度と一般化性能を向上させられるか？
• RQ4 従来の手法と比較して、提案手法はどの程度データ増強への依存を低減できるか？
• RQ5 極端な関節可動域や自己遮蔽を伴う実世界のデータセットにおいて、本手法はどの程度の性能を示すか？

主な発見

• ICLVデータセットでは、判別的手法の中で最先端の性能を達成し、従来の手法を顕著に上回る。
• MSRAデータセットでは、40mmの閾値で最高の既存手法と同等の性能を示し、指関節全体を一括して回帰する際には25–30mmの範囲で約5%の性能向上を達成する。
• Cascaded RegressionおよびCollaborative Filteringと比較して、40mm未満の誤差率において約14%の誤差率低下を達成しており、未観測ポーズへの一般化性能が優れていることが示された。
• 法線に基づく角度差特徴は平面内回転に対して不変であり、データ増強の必要性がなく、トレーニングおよび推論の簡素化に寄与する。
• 法線または推定された関節に基づく局所基準座標系の使用により、剛体変換に対する頑健性が向上し、初期値への感度が低減する。
• 回帰フォレストを用いた法線推定手法は効率的であり、単位ベクトル分布に適しており、リアルタイム推論を可能にする。