[論文レビュー] Real-time Joint Tracking of a Hand Manipulating an Object from RGB-D Input

Srinath Sridhar, Franziska Mueller+4 more|arXiv (Cornell University)|Oct 16, 2016

Hand Gesture Recognition Systems参考文献 34被引用数 29

ひとこと要約

本論文は、1台のRGB-Dカメラを用いて、手と物体のポーズをリアルタイムに連携して追跡する手法を提示する。3次元アーティキュレーテッドガウス混合のアライメントに、独創的な遮蔽および接触正則化項を組み合わせ、耐障害性を高めた。さらに、マルチレイヤーのランダムフォレスト分類器を用いることで、より高い耐障害性を実現している。本手法は、ベンチマークおよび新たに導入された手-物体インタラクションデータセットにおいて、最先端の精度を達成し、25–30 Hzの性能を発揮する。

ABSTRACT

Real-time simultaneous tracking of hands manipulating and interacting with external objects has many potential applications in augmented reality, tangible computing, and wearable computing. However, due to difficult occlusions, fast motions, and uniform hand appearance, jointly tracking hand and object pose is more challenging than tracking either of the two separately. Many previous approaches resort to complex multi-camera setups to remedy the occlusion problem and often employ expensive segmentation and optimization steps which makes real-time tracking impossible. In this paper, we propose a real-time solution that uses a single commodity RGB-D camera. The core of our approach is a 3D articulated Gaussian mixture alignment strategy tailored to hand-object tracking that allows fast pose optimization. The alignment energy uses novel regularizers to address occlusions and hand-object contacts. For added robustness, we guide the optimization with discriminative part classification of the hand and segmentation of the object. We conducted extensive experiments on several existing datasets and introduce a new annotated hand-object dataset. Quantitative and qualitative results show the key advantages of our method: speed, accuracy, and robustness.

研究の動機と目的

• 複雑なインタラクション中の、リアルタイムで正確かつ耐障害性のある手と物体のポーズの連携追跡を実現すること。
• 複数カメラや高コストの最適化パイプラインに依存する従来手法の限界を克服すること。
• 遮蔽や手-物体接触を適切に処理しながら、コンsumerハードウェア（1台のRGB-Dセンサ）でもリアルタイム性能を達成すること。
• 新たな完全アノテーション済みの多様な手-物体インタラクションデータセットを構築し、ベンチマークとしての役割を果たすこと。
• 判別的パーツ分類と生成的最適化を統合することで、追跡の安定性と遮蔽からの回復能力を向上させること。

提案手法

• コアとなるポーズ最適化フレームワークとして、対応探索を明示的に行わない3次元アーティキュレーテッドガウス混合アライメントを採用。ICPを一般化する。
• 把持の物理的特性に基づいて導出された、遮蔽および手-物体接触点のための新規解析的正則化項を導入。耐障害性を向上。
• 視点選択を伴うマルチレイヤーのランダムフォレスト分類器を用い、最適化をガイドするとともに、RGB-D入力から手のパーツと物体を分離。
• 複数のポーズ候補を同時に評価し、最良の解を選択する変分的最適化戦略を適用。
• ポーズ最適化の前処理として、深度クラスタリングと前処理ステージを用い、物体および手の領域を効率的に抽出。
• 分類処理をGPUで実行し、他のステージをCPUで処理することで、リアルタイム性能（25–30 Hz）を達成。

実験結果

リサーチクエスチョン

• RQ1 1台のコンsumer用RGB-Dカメラのみを用いて、リアルタイムな連携手-物体追跡が可能か？
• RQ2 遮蔽および手-物体接触を解析的にモデル化することで、追跡の耐障害性を向上させられるか？
• RQ3 判別的パーツ分類が、生成的ポーズ最適化フレームワークの安定性および回復能力を向上させられるか？
• RQ4 標準的および新規ベンチマークにおいて、本手法は従来の最先端手法と定量的に比較してどの程度優れているか？
• RQ5 個々の構成要素（例：遮蔽処理、接触項）が、追跡精度および耐障害性に与える影響は何か？

主な発見

• 本手法は、標準的なCPUとGPU環境でも25–30 Hzのリアルタイム性能を達成し、インタラクティブな応用が可能である。
• Dexterデータセットにおいて、平均指先誤差を17.2 mmまで低減。これは、連続的な3次元空間的近接性モデリングのおかげで、従来手法（19.6 mm）を上回る性能を発揮した。
• アブレーションスタディの結果、遮蔽処理、接触項、視点選択を無効化すると誤差が著しく増加し、これらが耐障害性に果たす重要な役割を実証した。
• 本手法は、物体の把持、回転、さまざまな形状・サイズ・色の物体を扱う複雑なインタラクションを、リアルタイムで効果的に追跡できる。
• 判別的分類により、長時間の遮蔽後でも回復が可能であることが、可視性喪失後の回復を示す定性的な結果で確認された。
• 研究者らは、新たに完全アノテーション済みの手-物体インタラクションデータセットを構築し、将来的なベンチマークと研究を支援する目的で公開した。