[論文レビュー] 3D Hand Pose Detection in Egocentric RGB-D Images

Grégory Rogez, James Steven Supančič+3 more|arXiv (Cornell University)|Nov 29, 2014

Human Pose and Action Recognition参考文献 6被引用数 51

ひとこと要約

本論文は、日常的な物体と相互作用する仮想の全身キャラクターから生成された写真のようにリアルな合成データを活用して、深度に基づくポーズ分類器を訓練することで、エゴセントリックなRGB-D画像における3次元ハンドポーズ推定のための判別的トラッキング・バイ・ディテクションフレームワークを提案する。この手法は、遮蔽や視野制限といった困難な状況下でも、商用および学術的アプローチを上回る、実世界のエゴセントリックデータセットにおける最先端のパフォーマンスを達成している。

ABSTRACT

We focus on the task of everyday hand pose estimation from egocentric viewpoints. For this task, we show that depth sensors are particularly informative for extracting near-field interactions of the camera wearer with his/her environment. Despite the recent advances in full-body pose estimation using Kinect-like sensors, reliable monocular hand pose estimation in RGB-D images is still an unsolved problem. The problem is considerably exacerbated when analyzing hands performing daily activities from a first-person viewpoint, due to severe occlusions arising from object manipulations and a limited field-of-view. Our system addresses these difficulties by exploiting strong priors over viewpoint and pose in a discriminative tracking-by-detection framework. Our priors are operationalized through a photorealistic synthetic model of egocentric scenes, which is used to generate training data for learning depth-based pose classifiers. We evaluate our approach on an annotated dataset of real egocentric object manipulation scenes and compare to both commercial and academic approaches. Our method provides state-of-the-art performance for both hand detection and pose estimation in egocentric RGB-D images.

研究の動機と目的

• 深刻な遮蔽や視野制限によって性能が低下するエゴセントリックなRGB-D画像における信頼性の高い単眼ハンドポーズ推定の課題に対処する。
• 第3者視点の仮定に依存する既存手法の限界（安定したトラッキングや単純な深度ベースのセグメンテーションなど）を克服し、第一人称設定では機能しない問題に対処する。
• 視点の一貫性、一般的なグリップ、物体との相互作用といったエゴセントリックシーンからの強い事前知識を、現実的でリアルな合成学習データによって活用する。
• 局所的なパーツではなくグローバルなハンドポーズを分類するスケーラブルで判別的なマルチクラス分類フレームワークを開発し、自己遮蔽の理解を向上させる。
• 反射的・新規・変形可能な物体やノイズの多い深度データを含む、実世界のエゴセントリックシナリオにおいても頑健なパフォーマンスを実現する。

提案手法

• 日常的な物体のライブラリと相互作用する仮想の全身キャラクターに3次元ハンドモデルを装着することで、文脈的情報を含む現実的でリアルな合成エゴセントリックシーンを生成し、実現可能な学習データを提供する。
• 単一フレームのRGB-D入力を処理する、マルチクラスポーズ分類器の階層的カスケードを訓練する。深度を主な手がかりとして用いることで、近距離・第一人称視点におけるポーズ推定を向上させる。
• 視点とグリップの事前知識を、実際のハンド・オブジェクト相互作用（遮蔽や自己遮蔽を含む）を捉えた合成データを通じて実装する。
• 局所的なパーツではなくグローバルなハンドポーズを分類することで、複雑な遮蔽パターンの理解を向上させ、部分的可視性に対する耐性を高める。
• 多数のポーズ仮説を効率的に評価しながらも、高い正確性と速度を維持するため、段階的なステージを持つ判別的マルチクラス拒否フレームワークを採用する。
• 検出評価には10ピクセルのオーバーラップ閾値を適用し、検出率とポーズ正確性のバランスを取る。厳密な評価基準では、正しいバウンディングボックスと正しいポーズ推定の両方が必要とされる。

実験結果

リサーチクエスチョン

• RQ1 エゴセントリックなRGB-Dセンサーからの深度情報は、従来の手法が失敗する実世界の近距離相互作用シナリオにおいて、3次元ハンドポーズ推定を顕著に改善できるか？
• RQ2 全身と物体の相互作用を含むエゴセントリックな合成学習データは、遮蔽や新規オブジェクトといった実世界の課題に対する一般化性と耐性をどの程度向上できるか？
• RQ3 判別的で階層的なカスケード構造のマルチクラスポーズ分類器は、膨大な数の可能なハンドポーズを扱いながらも、高い正確性と効率性を維持できるか？
• RQ4 局所的なパーツではなくグローバルなポーズを分類することで、エゴセントリックビューにおける自己遮蔽や複雑なハンド構成の処理において、より優れたパフォーマンスが得られるか？
• RQ5 反射面、ノイズの多い深度データ、または学習データに存在しない未確認／変形可能なオブジェクトといった極端な条件下で、システムの性能はどの程度維持されるか？

主な発見

• 提案手法は、実世界のエゴセントリックデータセットにおいて、ハンド検出および3次元ハンドポーズ推定の両面で最先端のパフォーマンスを達成しており、既存の商用および学術的アプローチを上回っている。
• 検出に10ピクセルのピクセルオーバーラップ閾値を用いることで、検出率とポーズ正確性の最良のトレードオフが達成され、両方の正解が必須となる厳密な評価基準が適用されている。
• 反射的物体（例：ワインボトル、スマートフォン）やノイズの多い深度データに対しても、困難なフレームにおいても高い正確性を維持するという、頑健な性能を示している。
• 階層的カスケードモデルにおける1ブランチあたりのM=3パーツの選択が最適なパフォーマンスをもたらし、パーツ数を増やすと誤検出が増加するが、ポーズ正確性に改善は見られない。
• トレーニング中に見られなかった新規オブジェクト（封筒、ジュースパック、チョコレートパウダーの箱など）に対しても、良好なゼロショット一般化能力を示しており、良好な一般化性能を有している。
• 定性的な結果では、深刻な遮蔽、切断されたハンド、複雑なオブジェクトとの相互作用に対しても、正常な検出とポーズ推定が達成されている。失敗事例は主に深刻な深度ノイズや非常に不審な物体形状に起因している。