[論文レビュー] Implementation of Hand Detection based Techniques for Human Computer Interaction

Amiraj Dhawan, Vipul Honrao|arXiv (Cornell University)|Dec 29, 2013

Hand Gesture Recognition Systems参考文献 1被引用数 24

ひとこと要約

本稿では、コンピュータビジョン技術を用いたハンド検出に基づく人間-コンピュータインタラクションシステムを提案し、従来のコンピュータおよびモバイルデバイスにおいてジェスチャー入力を可能にする。カラースペーシフィケーションと輪郭解析を用いて、リアルタイムでハンドの輪郭を検出し、ジェスチャーをトラッキングすることで、周辺機器を必要とせず応答性の高いインタラクションを実現し、ゲームやモバイルインターフェースのような分野におけるタッチレス制御の実現可能性を示している。

ABSTRACT

The computer industry is developing at a fast pace. With this development almost all of the fields under computers have advanced in the past couple of decades. But the same technology is being used for human computer interaction that was used in 1970s. Even today the same type of keyboard and mouse is used for interacting with computer systems. With the recent boom in the mobile segment touchscreens have become popular for interaction with cell phones. But these touchscreens are rarely used on traditional systems. This paper tries to introduce methods for human computer interaction using the users hand which can be used both on traditional computer platforms as well as cell phones. The methods explain how the users detected hand can be used as input for applications and also explain applications that can take advantage of this type of interaction mechanism.

研究の動機と目的

• キーボードやマウスといった古くなった入力方法に依存し続けている、人間-コンピュータインタラクションインターフェースの停滞を是正すること。
• ハンドジェスチャー認識を用いて、低コストでアクセス可能な従来の入力デバイスの代替を提供すること。
• 標準のカメラを用いて、デスクトップシステムおよびモバイルデバイスの両方でジェスチャーに基づくインタラクションを可能にすること。
• リアルタイムインタラクティブシステムにおけるハンド検出の実用的応用を示すこと。
• 新たなモバイルタッチインターフェースと従来のコンピューティングプラットフォームの間のギャップを埋めること。

提案手法

• リアルタイムの動画入力において、HSV色空間におけるカラーベースのセグメンテーションを用いて、背景からハンド領域を分離する。
• 輪郭検出と凸包解析を適用して、ハンドの形状を抽出し、指先を特定する。
• 重心に基づくトラッキング機構を用いて、動画フレーム間でハンドの位置を維持し、連続的なインタラクションを実現する。
• 時間経過に伴うハンドの形状および位置の変化を分析することで、ジェスチャー認識を実装する。
• 特別なハードウェアを必要とせず、標準のウェブカメラまたはモバイルデバイスのカメラからの入力を処理する。
• 検出されたハンド特徴を用いて、仮想マウス制御やジェスチャーによるナビゲーションといったアプリケーションのプロトタイプを開発する。

実験結果

リサーチクエスチョン

• RQ1 標準のカメラを用いたハンド検出が、効果的かつ応答性の高い人間-コンピュータインタラクションを可能にするか。
• RQ2 最小限の計算負荷でリアルタイムのハンドジェスチャー認識をどのように達成できるか。
• RQ3 ハンド検出システムが、デスクトップおよびモバイルプラットフォームの両方でどれほど適応可能か。
• RQ4 従来の入力デバイスに代わるハンドベースのインタラクションの実用的応用は何か。
• RQ5 照明条件や背景の違いが、ハンド検出の正確性と信頼性にどの程度影響を与えるか。

主な発見

• 本システムは、標準のウェブカメラおよびモバイルカメラを用いて、リアルタイムでハンドジェスチャーを検出し、トラッキングすることに成功した。
• HSV空間におけるカラーセグメンテーションは、中程度の照明変化下でもハンド領域を効果的に分離できた。
• 輪郭および凸包解析により、ハンドの形状と指先位置を正確に特定できた。
• 仮想マウス制御やジェスチャーナビゲーションといったプロトタイプアプリケーションにおいて、機能的なインタラクションが実現した。
• 本アプローチはデスクトップおよびモバイルプラットフォームに適応可能であり、クロスデバイスインタラクションをサポートした。
• 特別なハードウェアを必要とせず、低レイテンシのインタラクションを実現し、リアルタイムアプリケーションに適した。