[論文レビュー] Egocentric Pose Recognition in Four Lines of Code

Grégory Rogez, James Steven Supančič+1 more|arXiv (Cornell University)|Nov 29, 2014

Human Pose and Action Recognition参考文献 22被引用数 3

ひとこと要約

本論文は、エゴセントリック・ワークスペースのグローバルボリューム表現を用いて、4行のコードで実現可能なリアルタイムのエゴセントリック3次元上肢ポーズ認識手法を提案する。仮想の胸に取り付けたカメラから合成された深度データを用い、スパースな多クラスSVMで全3次元ワークスペース構成を分類することで、視点に配慮した深度特徴量と文脈的事前知識を活用し、先行研究の局所的ウィンドウ手法を上回る最先端の性能（72%の正確度）を達成した。

ABSTRACT

We tackle the problem of estimating the 3D pose of an individual's upper limbs (arms+hands) from a chest mounted depth-camera. Importantly, we consider pose estimation during everyday interactions with objects. Past work shows that strong pose+viewpoint priors and depth-based features are crucial for robust performance. In egocentric views, hands and arms are observable within a well defined volume in front of the camera. We call this volume an egocentric workspace. A notable property is that hand appearance correlates with workspace location. To exploit this correlation, we classify arm+hand configurations in a global egocentric coordinate frame, rather than a local scanning window. This greatly simplify the architecture and improves performance. We propose an efficient pipeline which 1) generates synthetic workspace exemplars for training using a virtual chest-mounted camera whose intrinsic parameters match our physical camera, 2) computes perspective-aware depth features on this entire volume and 3) recognizes discrete arm+hand pose classes through a sparse multi-class SVM. Our method provides state-of-the-art hand pose recognition performance from egocentric RGB-D images in real-time.

研究の動機と目的

• オブジェクトとの相互作用中に生じる遮蔽や視点の変動によって性能が低下するエゴセントリックビューにおける頑健な3次元上肢ポーズ推定の課題に対処する。
• 局所的でトランスレーション不変な特徴抽出の限界を克服するため、エゴセントリック・ワークスペース全体を3次元ボリューム記述子としてモデル化する。
• 実カメラの内部パrameterを再現する仮想の胸に取り付けたカメラから得られる合成データを活用し、一般化を促進する多様なトレーニング例を生成する。
• 垂直投影ではなく視点に配慮したボリュームバイナリゼーションを用いることで、視覚的歪みや自己遮蔽に対する耐性を高める。
• コンactなグローバル文脈特徴に基づくシンプルでスパースな多クラスSVM分類器を用いることで、リアルタイムの推論を実現する。

提案手法

• 仮想シーン内でアーム、ハンド、オブジェクトの配置を変化させた3次元人間モデルをアニメートし、物理的カメラの内部パrameterと一致する仮想深度カメラでレンダリングすることで、120,000例のトレーニング例を合成する。
• 各ボクセルが2×2×2 cmの立方体内に3次元点が存在することを示す32×24×35の3次元ボクセルグリッドとしてエゴセントリック・ワークスペースを表現し、視点投影を用いて深度とサイズの変化を保持する。
• 各ボクセルに対して、3次元点がその空間的ビンに投影される場合に1を設定する視点に配慮したバイナリボリューム特徴を計算する。これにより、ずれや視点に起因するサイズ変化に対して頑健性を発揮する。
• 全ワークスペースボリュームからの特徴を用いて、1対すべての学習を用いたスパースな多クラスSVM分類器を学習し、各クラスが離散的なポーズ構成（最適なK=750）に対応する。
• 背景クラスタリングを用いて、ごみや動的な背景からの干渉を低減し、未観測のシーンへの一般化を向上させる。
• 推論時に、同じボリューム特徴を実際のエゴセントリック深度画像から抽出し、事前に学習済みのSVMを用いて分類する。

実験結果

リサーチクエスチョン

• RQ1 エゴセントリック・ワークスペースのグローバルボリューム表現は、局所的ウィンドウベースの手法と比較して、3次元の手のポーズ認識の正確度を向上させることができるか？
• RQ2 視点に配慮したボリュームバイナリゼーションを用いることで、垂直投影や非視点特徴表現に比べ、エゴセントリック深度に基づくポーズ推定で優れた性能が得られるか？
• RQ3 実カメラパrameterを有する仮想の胸に取り付けたカメラから得られる合成データは、実世界のエゴセントリック深度画像へどれほど一般化可能か？
• RQ4 離散化されたポーズクラス数（K）を増加させることで、モデルの性能と一般化能力にどのような影響が生じるか？また、解像度と過学習の間の最適なトレードオフは何か？
• RQ5 シンプルでスパースな多クラスSVM分類器は、エゴセントリックポーズ認識において、リアルタイム性能を維持しながら最先端の正確度を達成できるか？

主な発見

• 提案された視点に配慮したボリューム特徴は、72%の手のポーズ認識正確度を達成し、同じ評価プロトコル下で60%の正確度を報告した先行研究[21]を顕著に上回った。
• 最適なポーズクラス数（K）は750であり、それ以上に増加させるとデータのスパarsityとモデルの過学習により性能が頭打ちまたは低下するため、細かさと一般化能力の間の重要なトレードオフが示された。
• 各クラスごとの正例トレーニング例の数を増やすことで、正確度は徐々に改善され、より大規模かつ多様なデータセットがあればさらなる性能向上が可能であることが示唆された。
• 垂直投影に比べ、視点に基づくボリューム特徴は、クラスタ内でのずれや視点に起因するサイズ変化に対してより頑健であった。これは、垂直投影特徴が一貫した深度投影モデルを欠いているためである。
• 本手法はリアルタイム性能を達成しており、全推論パイプラインをわずか4行のコードで実装可能であり、実用的な展開可能性を示した。
• 本システムは、新規のオブジェクト（例：封筒、スターマスチックボックス、ランプ）に対しても良好に一般化し、ノイズの多い深度やごみの多い背景に対しても耐性を示したが、反射面や重度の遮蔽では性能が低下した。