[論文レビュー] Tracking of Fingertips and Centres of Palm using KINECT

Jagdish Lal Raheja, Ankit Chaudhary+1 more|arXiv (Cornell University)|Apr 17, 2013

Interactive and Immersive Displays参考文献 9被引用数 33

ひとこと要約

本論文では、Microsoft Kinectを用いて両手の指先および掌中心を検出するリアルタイム3次元ハンドトラッキング手法を提示する。深度データと逆距離変換を活用してハンドをセグメンテーションし、キーポイントを特定することで、92.5％の報告成功率を示す高精度な入力が得られ、ロボットハンド制御に適している。

ABSTRACT

Hand Gesture is a popular way to interact or control machines and it has been implemented in many applications. The geometry of hand is such that it is hard to construct in virtual environment and control the joints but the functionality and DOF encourage researchers to make a hand like instrument. This paper presents a novel method for fingertips detection and centres of palms detection distinctly for both hands using MS KINECT in 3D from the input image. KINECT facilitates us by providing the depth information of foreground objects. The hands were segmented using the depth vector and centres of palms were detected using distance transformation on inverse image. This result would be used to feed the inputs to the robotic hands to emulate human hands operation.

研究の動機と目的

• 深度データを用いて両手の指先および掌中心の正確な3次元トラッキングを実現すること。
• ハンドジェスチャー認識を通じてリアルタイムの人間-機械インタラクションを実現する手法を開発すること。
• 人間のハンドの動きを模倣するためのロボットハンドに信頼性の高い入力データを提供すること。
• 深度ベースのセグメンテーションを用いた3次元ハンドモデリングおよび関節制御の課題を克服すること。
• 実環境条件下での手法の正確性および頑健性を検証すること。

提案手法

• Microsoft Kinectの深度情報を活用して、背景から前方のハンドをセグメンテーションする。
• 逆深度画像に距離変換を適用して掌の中心を特定する。
• ハンド領域の深度勾配または曲率における局所的最大値を分析して指先を検出する。
• 空間フィルタリングおよび幾何的制約を用いて両手を独立して処理する。
• 2段階のアプローチを採用：掌中心検出の後に指先位置特定を行う。
• 深度の不連続性に基づいて手領域を分離するしきい値ベースのセグメンテーション手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 単一のKinect深度データのみを用いて、指先および掌中心の位置をリアルタイムで正確に検出できるか？
• RQ2 逆深度画像への距離変換は、掌中心の特定にどの程度有効であるか？
• RQ3 異なるハンドポーズおよび照明条件下でも、指先検出の精度はどの程度か？
• RQ4 動的環境下でも両手を同時に信頼性高くトラッキングできるか？
• RQ5 精度および計算負荷の観点から、既存のハンドトラッキング技術と比較して本手法はどのように優れているか？

主な発見

• 実験的試行において、指先および掌中心の位置特定に92.5％の検出精度を達成した。
• 逆距離変換を用いた掌中心検出は、多様なハンドポーズにおいても頑健であることが示された。
• ハンドの向きがKinectの最適な深度センシング範囲内にある場合、指先検出が最も正確であった。
• リアルタイムで最小限の遅延を伴いながら、両手を同時にトラッキングに成功した。
• 低照度条件下でも、RGBベースの手法と比較して深度データの使用が著しく頑健性を向上させた。
• 複数の被験者およびハンド構成において、一貫した性能を示した。