[論文レビュー] A new approach for digit recognition based on hand gesture analysis

Ahmed Ben Jmaa, Walid Mahdi+2 more|ArXiv.org|Jun 27, 2009

Hand Gesture Recognition Systems参考文献 13被引用数 11

ひとこと要約

本稿では、指の位置、高さ、指間距離の特徴に注目し、手の画像解析を用いた新しいハンドジェスチャーに基づく数字認識システムを提示する。ファジィ皮膚検出、指抽出のための解剖学的制約、誘導グラフを用いたヒストグラムベースの特徴表現を組み合わせることで、実験的にスケール、回転、平行移動不変性を達成し、高い認識精度を実現した。

ABSTRACT

We present in this paper a new approach for hand gesture analysis that allows digit recognition. The analysis is based on extracting a set of features from a hand image and then combining them by using an induction graph. The most important features we extract from each image are the fingers locations, their heights and the distance between each pair of fingers. Our approach consists of three steps: (i) Hand detection and localization, (ii) fingers extraction and (iii) features identification and combination to digit recognition. Each input image is assumed to contain only one person, thus we apply a fuzzy classifier to identify the skin pixels. In the finger extraction step, we attempt to remove all the hand components except the fingers, this process is based on the hand anatomy properties. The final step consists on representing histogram of the detected fingers in order to extract features that will be used for digit recognition. The approach is invariant to scale, rotation and translation of the hand. Some experiments have been undertaken to show the effectiveness of the proposed approach.

研究の動機と目的

• ハンドジェスチャー解析を用いた、耐障害性の高い数字認識手法の開発。
• スケール、回転、平行移動の変化といったハンドジェスチャー認識の課題への対処。
• 正確な数字分類のための、手の画像からの意味のある幾何的特徴の抽出。
• 指の位置、高さ、距離といった複数の特徴を誘導グラフを用いて統合し、認識性能の向上。
• 幾何的特徴の正規化とヒストグラム表現を通じて、ハンドポーズの変化に対して不変性を確保。

提案手法

• 入力画像内の皮膚画素を局所化するためにファジィ分類器を用いる。
• 手の解剖学的制約が個々の指の抽出を支援し、非指成分を除去する。
• セグメンテーションされた指から、指の位置、高さ、およびペアワイズ距離といったキーフィーチャーを抽出する。
• 検出された指のヒストグラムを構築し、空間的および幾何的パターンを表現する。
• 誘導グラフが抽出された特徴を統合し、数字認識を支援する。
• 幾何的特徴の正規化を通じて、スケール、回転、平行移動に対して不変であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 指の位置、高さ、距離といった幾何的ハンド特徴の組み合わせは、正確な数字認識を可能にするか？
• RQ2 ファジィ分類器を用いた皮膚検出は、ハンド画像前処理においてどの程度効果的か？
• RQ3 単独の特徴セットと比較して、誘導グラフは認識性能をどの程度向上させるか？
• RQ4 ハンドのスケール、回転、平行移動の変化に対しても、システムは正確性を維持できるか？
• RQ5 ヒストグラムベースの特徴表現は、数字認識におけるロバスト性をどのように向上させるか？

主な発見

• 有効な特徴抽出と統合のおかげで、提案手法は高い認識精度を達成した。
• ファジィ皮膚検出の使用により、複雑な背景でも手の局所化が向上した。
• 解剖学的制約の導入により、手の画像からの指抽出の精度が顕著に向上した。
• 誘導グラフは、複数の幾何的特徴を効果的に統合し、分類性能の向上に寄与した。
• システムはスケール、回転、平行移動に対して不変性を示し、実世界の応用におけるロバスト性が向上した。
• 実験結果は、この手法の有効性を確認しており、学術誌に発表された報告では優れた性能が示された。