[論文レビュー] Real-Time and Robust Method for Hand Gesture Recognition System Based on Cross-Correlation Coefficient

Reza Azad, Babak Azad+1 more|arXiv (Cornell University)|Aug 8, 2014

Hand Gesture Recognition Systems参考文献 10被引用数 15

ひとこと要約

本稿では、特徴マッチングに相関係数を用いた、リアルタイムで頑健なハンドジェスチャー認識システムを提示する。画像処理を用いてハンドジェスチャーをセグメンテーションし、事前に定義されたテンプレートとのマッチングに相関係数を適用することで、アメリカン・サイン・ランゲージ（ASL）データセットで98.34%の正確性を達成し、実世界の応用において高い効率性と信頼性を示している。

ABSTRACT

Hand gesture recognition possesses extensive applications in virtual reality, sign language recognition, and computer games. The direct interface of hand gestures provides us a new way for communicating with the virtual environment. In this paper a novel and real-time approach for hand gesture recognition system is presented. In the suggested method, first, the hand gesture is extracted from the main image by the image segmentation and morphological operation and then is sent to feature extraction stage. In feature extraction stage the Cross-correlation coefficient is applied on the gesture to recognize it. In the result part, the proposed approach is applied on American Sign Language (ASL) database and the accuracy rate obtained 98.34%.

研究の動機と目的

• バーチャルリアリティやサイン言語解釈などのインタラクティブなアプリケーションに適したリアルタイムのハンドジェスチャー認識システムの開発を目的とする。
• 有効なハンドセグメンテーションと特徴抽出を通じて、照明や背景の変化にさらされても頑健な性能を発揮する手法の開発を目的とする。
• 計算的に効率的な相関係数に基づくマッチング手法を用いて、認識正確性と処理速度の向上を図ることを目的とする。
• 実用的応用性を保証するため、標準ベンチマークデータセット（特にアメリカン・サイン・ランゲージ（ASL）データベース）を用いて手法の妥当性を検証することを目的とする。

提案手法

• ハンドジェスチャーは、画像セグメンテーションおよびモルフォロジカル操作を用いて、手領域を分離することで入力画像から抽出される。
• セグメンテーションされた手領域は正規化され、事前に定義されたジェスチャー・テンプレートとの間で相関係数を用いた特徴抽出の入力として使用される。
• 入力ジェスチャーとデータベース内の各テンプレートとの間で相関係数が計算され、最も良いマッチングが特定される。
• 最も高い相関係数値を示したジェスチャーが認識出力として選択され、高速かつ信頼性の高い分類が可能になる。
• 照度やスケールの変動に対して頑健性を高めるために、正規化された相関係数を用いたテンプレートマッチングに依存している。
• セグメンテーション段階およびマッチング段階の両方で計算複雑性を最小限に抑えることで、リアルタイム性能を実現するようにシステムが設計されている。

実験結果

リサーチクエスチョン

• RQ1 環境条件の変化にさらされても高い正確性を維持できるリアルタイムのハンドジェスチャー認識システムを開発できるか？
• RQ2 相関係数が特徴類似度測定としてハンドジェスチャーのマッチングにどの程度有効であるか？
• RQ3 標準ASLデータセット上で相関係数を用いることで、どの程度の認識正確性が達成できるか？
• RQ4 既存のジェスチャー認識技術と比較して、提案手法は速度および頑健性の面でどの程度優れているか？
• RQ5 モルフォロジカル処理と相関係数の組み合わせが、認識の信頼性をどの程度向上させるか？

主な発見

• 提案手法はアメリカン・サイン・ランゲージ（ASL）データベース上で98.34%の認識正確性を達成し、高い信頼性を示している。
• システムはリアルタイムで動作するため、バーチャルリアリティや人間-コンピュータインターフェースなどのインタラクティブなアプリケーションに適している。
• テンプレートマッチングに相関係数を用いることで、照度の変化や背景ノイズに対して頑健であることが実証された。
• 画像セグメンテーションおよびモルフォロジカル操作により、手領域が効果的に分離され、特徴抽出の質が向上した。
• 計算オーバーヘッドが最小限に抑えられ、リアルタイムデプロイメントを支援する強力な性能を示した。
• 結果から、複雑な機械学習モデルに代わる実用的で効率的な代替手段として、相関係数に基づくマッチングが、制御されたジェスチャー認識タスクにおいて有効であることが示唆された。