[論文レビュー] Preprint Touch-less Interactive Augmented Reality Game on Vision Based Wearable Device

Zhihan Lv, Alaa Halawani+3 more|arXiv (Cornell University)|Apr 23, 2015

Gaze Tracking and Assistive Technology参考文献 79被引用数 7

ひとこと要約

本論文では、ビジョンベースのウェアラブルデバイスを用いた、手や足の動きをカメラで捉えることで、仮想オブジェクトを制御できる、接触を伴わないインタラクティブな拡張現実ゲームシステムを提示する。Google Glassとハイブリッドウェアラブルフレームワークを用いた比較評価を通じて、ユーザビリティと社会的受容性の向上を実証し、没入型で接触のないARゲームの可能性を裏付けた。

ABSTRACT

This is the preprint version of our paper on Personal and Ubiquitous Computing. There is an increasing interest in creating pervasive games based on emerging interaction technologies. In order to develop touch-less, interactive and augmented reality games on vision-based wearable device, a touch-less motion interaction technology is designed and evaluated in this work. Users interact with the augmented reality games with dynamic hands/feet gestures in front of the camera, which triggers the interaction event to interact with the virtual object in the scene. Three primitive augmented reality games with eleven dynamic gestures are developed based on the proposed touch-less interaction technology as proof. At last, a comparing evaluation is proposed to demonstrate the social acceptability and usability of the touch-less approach, running on a hybrid wearable framework or with Google Glass, as well as workload assessment, user's emotions and satisfaction.

研究の動機と目的

• ウェアラブルデバイス上で、接触を伴わないジェスチャーに基づくインタラクションシステムを、拡張現実ゲームに開発すること。
• 実世界のARゲームシナリオにおける、接触を伴わないインタラクションのユーザビリティと社会的受容性を評価すること。
• ビジョンベースのウェアラブルプラットフォーム上で11の動的ジェスチャーを用いて、3つのARゲームを実装・テストすること。
• Google Glassとハイブリッドウェアラブルフレームワークを用いた比較研究を通じて、ユーザの作業負荷、感情、満足度を評価すること。
• 物理的接触なしでインタラクティブなAR体験を実現するビジョンベースのジェスチャー認識の実現可能性を示すこと。

提案手法

• ビジョンベースのジェスチャー認識システムは、ウェアラブルカメラからのリアルタイム動画入力を処理し、動的かつ手や足のジェスチャーを検出する。
• 特定のジェスチャーのパターンを、仮想環境での反応を引き起こすインタラクションイベントにマッピングする。
• 11種類の明確な動的ジェスチャーを用いたジェスチャーインタラクションパイプラインのテストを目的とした、3つのARゲームプロトタイプを開発した。
• モバイルハードウェア上でリアルタイム処理と低遅延インタラクションを実現するため、ハイブリッドウェアラブルフレームワークを実装した。
• ユーザの評価には、作業負荷の評価、感情反応の追跡、満足度指標を標準化された指標を用いて実施した。
• 性能とユーザーエクスペリエンスの観点から、ハイブリッドフレームワークとGoogle Glassの間で比較分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルデバイス上で、接触を伴わないジェスチャーインタラクションは、拡張現実ゲームの制御にどの程度効果的か？
• RQ2 実世界の状況において、ジェスチャーに基づくARインタラクションのユーザ満足度と社会的受容性はどの程度か？
• RQ3 異なるウェアラブルプラットフォーム間で、ユーザの作業負荷と感情的反応はどのように比較されるか？
• RQ4 動的かつ手や足のジェスチャーは、仮想インタラクションにどの程度信頼性高く検出され、マッピングされるか？
• RQ5 カスタムハイブリッドウェアラブルフレームワークと、Google Glassのような市販デバイスとの間で、パフォーマンスとユーザビリティのトレードオフはどのようなものか？

主な発見

• 接触を伴わないジェスチャーインタラクションシステムは、AR環境において、動的かつ手や足のジェスチャーを用いて仮想オブジェクトをリアルタイムで制御することに成功した。
• ユーザは、ジェスチャー制御によるARゲームとのインタラクションにおいて、高い満足度を示し、作業負荷が低いと感じた。
• 比較評価の結果、ハイブリッドウェアラブルフレームワークは、反応速度とユーザビリティの面でGoogle Glassを上回った。
• 接触を伴わないインタラクションの社会的受容性は高く評価され、ユーザは直感的で没入感があると感じた。
• 感情的反応分析の結果、ユーザはゲームプレイ中に喜びや没入感といった肯定的な感情を経験した。
• 本システムは、リアルタイム動作において、わずかな遅延で11種類の明確な動的ジェスチャーを安定して検出する高い性能を示した。