[論文レビュー] Articulated Hand Pose Estimation Review

Emad Barsoum|arXiv (Cornell University)|Apr 21, 2016

Human Pose and Action Recognition参考文献 38被引用数 20

ひとこと要約

本稿は、深度センサを用いたアーティキュレートドハンドポーズ推定における最近の進展をレビューし、識別的、生成的、ハイブリッドなアプローチに焦点を当てる。機械学習とモデルベースのフィッティングの統合が最も有望なパイプラインであると特定され、リアルタイム性能、オクルージョン、大規模なトレーニングデータセットの必要性といった主な課題が提示される。

ABSTRACT

With the increase number of companies focusing on commercializing Augmented Reality (AR), Virtual Reality (VR) and wearable devices, the need for a hand based input mechanism is becoming essential in order to make the experience natural, seamless and immersive. Hand pose estimation has progressed drastically in recent years due to the introduction of commodity depth cameras. Hand pose estimation based on vision is still a challenging problem due to its complexity from self-occlusion (between fingers), close similarity between fingers, dexterity of the hands, speed of the pose and the high dimension of the hand kinematic parameters. Articulated hand pose estimation is still an open problem and under intensive research from both academia and industry. The 2 approaches used for hand pose estimation are: discriminative and generative. Generative approach is a model based that tries to fit a hand model to the observed data. Discriminative approach is appearance based, usually implemented with machine learning (ML) and require a large amount of training data. Recent hand pose estimation uses hybrid approach by combining both discriminative and generative methods into a single hand pipeline. In this paper, we focus on reviewing recent progress of hand pose estimation from depth sensor. We will survey discriminative methods, generative methods and hybrid methods. This paper is not a comprehensive review of all hand pose estimation techniques, it is a subset of some of the recent state-of-the-art techniques.

研究の動機と目的

• コンsumer用深度センサからのRGB-Dデータを用いたハンドポーズ推定における最近の進歩を分析すること。
• ハンドポーズ推定パイプラインにおける識別的、生成的、ハイブリッドアプローチの比較を行うこと。
• 現在のシステムにおける主なボトルneck、特にトラッキングおよび初期化ステージの特定。
• 性能向上のための大規模かつ公開可能なベンチマークおよびトレーニングデータの必要性を強調すること。
• 将来的な研究の方向性を提案すること、特に学習ベースの初期化およびヒューリスティックパラメータの最適化。

提案手法

• 市販の深度センサから得られるRGB-Dデータを用いたハンドポーズ推定における最先端手法のサーベイ。
• アプローチを識別的（外観ベース、機械学習駆動）、生成的（モデルベースのフィッティング）、ハイブリッド（両方の併用）に分類すること。
• パイプラインステージを別々に評価：セグメンテーション、ハンド初期化、高次元ポーズ空間における最適化を用いたハンドトラッキング。
• 粗〜細のレジレッションを用いたマルチステージの学習パイプラインを提案し、初期化を改善すること。
• コンテンツベース画像検索（CBIR）を用いて、トラッキングにおける探索空間を縮小する高速で離散的なポーズ初期化を検討すること。
• PSO+GAなどのアルゴリズムにおけるヒューリスティックパラメータを、より精度の高いデータ駆動型の代替手段に置き換えるよう推奨すること。

実験結果

リサーチクエスチョン

• RQ1 深度ベースのハンドポーズ推定において、識別的、生成的、ハイブリッドアプローチの精度および効率はどのように比較されるか？
• RQ2 現在のハンドポーズ推定パイプラインにおける主なパフォーマンスボトルneck、特にトラッキングおよび初期化段階では何か？
• RQ3 機械学習が初期化段階をどれほど改善し、反復的最適化への依存を軽減できるか？
• RQ4 視覚ベースのハンドポーズ推定の進展にとって、大規模で高品質なトレーニングデータセットの可用性はどの程度重要か？
• RQ5 外観ベースの学習とモデルベースのフィッティングを組み合わせたハイブリッドパイプラインは、制約のない条件下でもロバストでリアルタイムの性能を達成できるか？

主な発見

• 識別的学習と生成的モデルフィッティングを組み合わせたハイブリッドアプローチが、リアルタイムでロバストなハンドポーズ推定のための最も有望なパイプラインである。
• 現在の最先端手法は、やや複雑な背景を伴う単一ハンドポーズの推定を信頼性高く行えるが、2ハンドの相互作用やオブジェクト操作には苦労する。
• ハンドトラッキング段階が、高次元の探索空間と高コストなレンダリングおよびコスト関数評価のため、主なパフォーマンスボトルneckである。
• 最適化アルゴリズム（例：PSO+GA）におけるヒューリスティックパラメータはしばしば直感的チューニングで設定されるが、より精度の高いデータ駆動型の代替が可能である。
• すべてのパイプラインステージをカバーする大規模で公開可能なベンチマークは、分野の公平な比較と進展にとって不可欠である。
• 特に粗〜細のレジレッションを用いた機械学習ベースの初期化は、トラッキングの負荷を軽減し、全体のシステム安定性を向上させる強力な可能性を示している。