[論文レビュー] Vision Based Game Development Using Human Computer Interaction

S. Sumathi, S. K. Srivatsa+1 more|arXiv (Cornell University)|Feb 10, 2010

Gaze Tracking and Assistive Technology参考文献 4被引用数 6

ひとこと要約

この論文では、従来のマウス入力を顔の動きによるジェスチャーに置き換える、ビジョンベースのヒューマンコンピュータインタラクションシステムを提示する。鼻先の動きのリアルタイム検出を用いてマウスカーソルを制御し、目を閉じる動作を左/右クリックに割り当てる。低価格のUSBカメラを用いて実装され、30 fpsの性能を達成し、顔の特徴点追跡を用いたライブ動画ストリームにより、自然で手を使わないゲーム操作を可能にする。

ABSTRACT

A Human Computer Interface (HCI) System for playing games is designed here for more natural communication with the machines. The system presented here is a vision-based system for detection of long voluntary eye blinks and interpretation of blink patterns for communication between man and machine. This system replaces the mouse with the human face as a new way to interact with the computer. Facial features (nose tip and eyes) are detected and tracked in realtime to use their actions as mouse events. The coordinates and movement of the nose tip in the live video feed are translated to become the coordinates and movement of the mouse pointer on the application. The left or right eye blinks fire left or right mouse click events. The system works with inexpensive USB cameras and runs at a frame rate of 30 frames per second.

研究の動機と目的

• ゲーム用に自然で手を使わないヒューマンコンピュータインターフェースの開発。
• 従来のマウス入力を、鼻先の動きや目を閉じる動作といった顔のジェスチャーに置き換える。
• 安価なハードウェア（USBカメラ）を用いてリアルタイムで低遅延の制御を実現する。
• 自発的な目を閉じるパターンを用いて、人間とコンピュータの間の直感的な通信を可能にする。
• 最小限のユーザー訓練で済むビジョンベースのインタラクションのゲームアプリケーションへの実現可能性を示す。

提案手法

• ライブ動画ストリームにおける顔の特徴点（鼻先と目）のリアルタイム検出および追跡に、コンピュータビジョン技術を用いる。
• ビデオ入力における鼻先座標を、スクリーン上のマウスカーソルの移動に変換する。
• 左目または右目の瞬きを、左クリックまたは右クリックイベントにマッピングする。
• 入力に標準のUSBウェブカメラを用いることで、低コストかつアクセス可能な展開を実現する。
• 滑らかで応答性の高い相互作用を確保するため、30 fpsのフレームレートを実装する。
• 顔のジェスチャーを入力コマンドとして解釈するために、コンピュータビジョンおよびパターン認識アルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 鼻の動きや目を閉じる動作といった顔のジェスチャーを、信頼性高く検出し、マウス制御やクリックに変換できるか？
• RQ2 低価格のUSBカメラセットアップは、ビジョンベースの入力によるリアルタイムでインタラクティブなゲームをサポートできるか？
• RQ3 自発的な目を閉じるパターンを用いて、左/右クリックなどの明確な入力コマンドを最小限の遅延で発行できるか？
• RQ4 このシステムは、従来の入力デバイスを一切使用せずに、自然で直感的なヒューマンコンピュータインタラクションをどの程度実現できるか？
• RQ5 ゲームアプリケーションにおいて、ビジョンベースインターフェースの性能の上限（フレームレートと応答性）はどの程度か？

主な発見

• システムは、30 fpsのフレームレートで鼻先の動きをリアルタイムにマウスカーソルの移動に正確に変換している。
• 左目および右目の瞬きが正確に検出し、それぞれ左クリックおよび右クリックイベントにマッピングされている。
• システムは、標準的な低価格のUSBウェブカメラのみを用いても効果的に動作しており、ハードウェア依存性が低い。
• 自然な顔のジェスチャーを用いた手を使わないゲーム制御を可能にし、アクセシビリティとユーザー参加度を向上させている。
• 実装は、リアルタイムゲームアプリケーションに適した安定的で応答性の高い相互作用を示している。
• 顔の特徴を入力モダリティとして活用することで、従来の入力デバイスの代替として実用的であることが示された。