[論文レビュー] Fingertip Detection: A Fast Method with Natural Hand

Jagdish Lal Raheja, Karen Das+1 more|arXiv (Cornell University)|Dec 1, 2012

Hand Gesture Recognition Systems参考文献 20被引用数 27

ひとこと要約

本稿では、自然な手のジェスチャーを用いて、HSVベースの皮膚フィルタリングを活用して手の輪郭を抽出し、強度ヒストグラム解析を用いて正確な手のクロッピングを実現する、高速で効率的な先端部検出手法を提示する。本手法は、処理をクロップされた手領域に限定することでリアルタイム性能を達成し、手の向きの変化に対しても頑健であることが示され、全画像処理手法と比較して処理速度が向上する。

ABSTRACT

Many vision based applications have used fingertips to track or manipulate gestures in their applications. Gesture identification is a natural way to pass the signals to the machine, as the human express its feelings most of the time with hand expressions. Here a novel time efficient algorithm has been described for fingertip detection. This method is invariant to hand direction and in preprocessing it cuts only hand part from the full image, hence further computation would be much faster than processing full image. Binary silhouette of the input image is generated using HSV color space based skin filter and hand cropping done based on intensity histogram of the hand image

研究の動機と目的

• 自然な手のジェスチャーにおける高速で効率的な先端部検出手法の開発を目的とする。
• パイプラインの初期段階で手領域を分離することで、計算負荷を低減することを目的とする。
• 前処理および特徴抽出を通じて、手の向きの不変性を確保することを目的とする。
• ビジョンベースのジェスチャー認識アプリケーションにおけるリアルタイム性能を向上させることを目的とする。
• クロップされた手領域上で最小限の処理で正確な先端部局所化を実現することを目的とする。

提案手法

• 本手法は、入力画像からHSV色空間に基づく皮膚フィルタリングを用いて、手のバイナリーシリウエットを生成することから始める。
• 手領域の強度ヒストグラムを分析して、最適なクロッピング境界を特定し、背景から手を分離する。
• クロップされた手画像に対して、幾何学的および輪郭ベースの解析を用いて先端部の位置を検出する。
• 形状および強度特性に依存することで、手の回転や向きの変化に対して不変となるようにアルゴリズムを設計する。
• 先端部検出はクロップ領域で実行され、全画像解析と比較して処理時間が著しく短縮される。
• 複雑な特徴抽出を避けるために、単純で効率的なしきい値処理およびモルフォロジカル操作に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムジェスチャー認識に適した先端部検出を、どのようにしてより高速かつ効率的に行えるか？
• RQ2 強度ヒストグラムに基づく手のクロッピングは、正確性を損なわずに処理速度を向上させることができるか？
• RQ3 本手法は、手の向きやポーズの変化に対して、どの程度不変性を示すか？
• RQ4 自然な照明条件下でも、HSVベースの皮膚フィルタリングは手領域を効果的に分離できるか？
• RQ5 前処理は、先端部検出の全体的な計算効率にどのような影響を与えるか？

主な発見

• 本手法は、クロップされた手領域に限定して処理を行うことで、処理時間を著しく短縮し、リアルタイム性能が向上する。
• HSVベースの皮膚フィルタリングは、複雑な背景からも手を効果的に分離し、正確なバイナリーシリウエットを生成する。
• 強度ヒストグラム解析により、頑健な手のクロッピングが可能となり、局所化の正確性が向上し、ノイズが低減する。
• アルゴリズムは手の方向に依存せず、さまざまな向きにおいて一貫した性能を示す。
• 全画像処理を避けることで、高速な計算が実現され、リアルタイムアプリケーションに適している。
• 皮膚フィルタリングと領域クロッピングの組み合わせにより、軽量でありながら効果的な先端部検出パイプラインが実現される。