[論文レビュー] Intelligent Approaches to interact with Machines using Hand Gesture Recognition in Natural way: A Survey

Ankit Chaudhary, J. L. Raheja+2 more|arXiv (Cornell University)|Mar 10, 2013

Hand Gesture Recognition Systems被引用数 29

ひとこと要約

本調査は、人工ニューラルネットワーク、ファジィ論理、遺伝的アルゴリズムなどのソフトコンピューティング手法を用いた、自然な人間-機械インタラクションのためのインテリジェントな手のジェスチャー認識（HGR）技術をレビューする。前処理、セグメンテーション、特徴抽出手法（特に指先ベースの手検出）を分析し、研究間での性能を比較。ゲーム、ロボット工学、スマートホームにおける認識精度と耐障害性の向上に寄与するハイブリッドインテリジェント手法の有効性を強調する。

ABSTRACT

Hand gestures recognition (HGR) is one of the main areas of research for the engineers, scientists and bioinformatics. HGR is the natural way of Human Machine interaction and today many researchers in the academia and industry are working on different application to make interactions more easy, natural and convenient without wearing any extra device. HGR can be applied from games control to vision enabled robot control, from virtual reality to smart home systems. In this paper we are discussing work done in the area of hand gesture recognition where focus is on the intelligent approaches including soft computing based methods like artificial neural network, fuzzy logic, genetic algorithms etc. The methods in the preprocessing of image for segmentation and hand image construction also taken into study. Most researchers used fingertips for hand detection in appearance based modeling. Finally the comparison of results given by different researchers is also presented.

研究の動機と目的

• 自然な人間-機械インタラクションのための手のジェスチャー認識（HGR）におけるインテリジェントなアプローチを包括的にレビューすること。
• 人工ニューラルネットワーク、ファジィ論理、遺伝的アルゴリズムなどのソフトコンピューティング技術がHGR性能をどのように向上させるかを分析すること。
• 画像の前処理およびセグメンテーション技術（特に指先ベースのモデリング）を検討し、正確な手検出を実現すること。
• 文献に報告されたさまざまなHGRシステムの性能を比較し、認識精度と耐障害性に焦点を当てる。
• 指のジェスチャーを用いたデバイスフリーで自然なインタラクション分野における研究ギャップと今後の方向性を特定すること。

提案手法

• コンピュータビジョンおよび人間-コンピュータインタラクション分野におけるインテリジェントな手法に焦点を当てた、200件以上のHGR研究に基づくサーベイ分析。
• 外観ベースとモデルベースのHGRシステムに分類し、手の局所化に焦点を当てた指先検出を重視する。
• 画像品質向上のための前処理技術（例：YCrCbへのカラースペース変換、エッジ検出、ノイズ低減）のレビュー。
• 輪郭解析、Huモーメント、皮膚色セグメンテーションなどの特徴抽出手法を検討し、ジェスチャー表現に活用。
• ソフトコンピューティングモデルの応用：分類に向けた人工ニューラルネットワーク（ANNs）、不確実性の取り扱いに向けたファジィ論理、特徴最適化に向けた遺伝的アルゴリズム。
• さまざまなHGRフレームワークにおける認識精度、処理時間、耐障害性の体系的比較。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークやファジィ論理などのソフトコンピューティング技術は、どのように手のジェスチャー認識の精度と耐障害性を向上させるか？
• RQ2 複雑な背景から手領域を分離するために、最も効果的な前処理およびセグメンテーション技術は何か？
• RQ3 指先ベースのモデリングは、他の手検出戦略と比較して、認識性能においてどのように異なるか？
• RQ4 外観ベースとモデルベースのHGRアプローチには、どのような主な性能差があるか？
• RQ5 実用的応用において、最高の認識精度とリアルタイム実行可能性を示すインテリジェントな手法は何か？

主な発見

• 指先ベースの外観モデリングは、手画像における顕著な特徴に焦点を当てることで、手検出精度を顕著に向上させる。
• 複数のソフトコンピューティング技術を組み合わせたハイブリッドアプローチ（例：ANNと遺伝的アルゴリズムの併用）は、単一手法のシステムよりも高い認識精度を達成する。
• YCrCbカラースペース変換やメディアンフィルタリングなどの前処理ステップは、画像品質の向上とノイズ低減に寄与し、後続の認識処理を改善する。
• ニューラルネットワーク（特にフィードフォワードネットワークとRBFネットワーク）は、複数のベンチマーク研究で90％以上の認識精度を示した。
• ファジィ論理システムは、ジェスチャー境界の不確実性や照明の変動を効果的に扱い、実環境における耐障害性を向上させる。
• 本調査では、複雑なジェスチャー群におけるリアルタイム処理の性能ギャップが特定され、軽量で最適化されたモデルの開発が求められている。