[論文レビュー] Back to the Future: Revisiting Mouse and Keyboard Interaction for HMD-based Immersive Analytics

Jens Grubert, Eyal Ofek+2 more|arXiv (Cornell University)|Jan 1, 2020

Virtual Reality Applications and Impacts参考文献 23被引用数 5

ひとこと要約

本論文では、HMDベースの没入型アナリティクスに物理キーボードとマウスを統合することで、デスクトップ入力の正確さと低疲労性を、空中ジェスチャーの空間的表現力と融合させることを提唱している。手および周辺機器の空間追跡を活用することで、片手で空間選択を行い、もう片方の手でキーボードによる確認を行うなど、シームレスなマルチモーダルインタラクションが可能となり、データ分析タスクにおける正確性と効率性が向上する。

ABSTRACT

With the rise of natural user interfaces, immersive analytics applications often focus on novel forms of interaction modalities such as mid-air gestures, gaze or tangible interaction utilizing input devices such as depth-sensors, touch screens and eye-trackers. At the same time, traditional input devices such as the physical keyboard and mouse are used to a lesser extent. We argue, that for certain work scenarios, such as conducting analytic tasks at stationary desktop settings, it can be valuable to combine the benefits of novel and established input devices as well as input modalities to create productive immersive analytics environments.

研究の動機と目的

• 没入型アナリティクスにおける完全な空間的インタラクションの限界、たとえばユーザの疲労や入力の不正確さを是正すること。
• 固定された単一ユーザのアナリティクス作業において、従来のデスクトップ入力デバイス（キーボードとマウス）をHMDと組み合わせることの可能性を探ること。
• 物理的入力デバイスの空間追跡が、空中ジェスチャーと正確な2D入力の間でのシームレスな切り替えを可能にする方法を調査すること。
• 仮想UI要素（例：スライダー、ノードセレクタ）を物理キーおよびマウス表面にマッピングすることで、インタラクションの忠実度を向上させること。
• 空間的表現力と記号的正確性の両方の長所を活かしたハイブリッドインタラクションモデルを促進すること。

提案手法

• 最新のHMDにおけるカメラベースのインサイドアウト追跡を活用し、ユーザーの手、キーボード、マウスをリアルタイムで空間的に追跡する。
• 空中ジェスチャー（例：コントローラーによるレイキャスト）と物理的入力（マウスクリック、キー入力）の間でのシームレスな切り替えを可能にする。
• 仮想データエンティティ（例：ノードリンク図におけるノード）を物理キーに1対1または複数のキーでマッピングして選択する。
• キーボードやマウスの領域に仮想UI要素（例：スクリーン上のスライダー、カラーセレクタ）をマッピングして、物理入力デバイスを拡張する。
• マウスの3次元空間における動きを追跡することで、回転やスケーリングなどの制限付き3次元操作を可能にする。
• 片手で不確実な空間的選択（例：注視やジェスチャー）を実行し、もう片方の手でキーボードまたはマウスによるアクションの確認を行うようなインタラクションパターンを設計する。

実験結果

リサーチクエスチョン

• RQ1 物理キーボードとマウスをどのように効果的にHMDベースの没入型アナリティクス環境に統合できるか？
• RQ2 空間的インタラクションと正確で低疲労性のデスクトップ入力の組み合わせが、データ分析タスクにおいてどのような利点をもたらすか？
• RQ3 物理的入力デバイスの空間追跡が、空中入力モダリティと直接入力モダリティの間でのシームレスな切り替えをどのように可能にするか？
• RQ4 仮想UI要素を物理キーボードやマウスにどのように拡張することで、インタラクションの忠実度を向上させられるか？
• RQ5 空間ジェスチャーとキーボード・マウスからの記号的入力の組み合わせによって、どのようなマルチモーダルインタラクションパターンが生じるか？

主な発見

• 物理キーボードとマウスは、没入型アナリティクスにおける空中ジェスチャーの表現力に比し、正確で低疲労性の入力手段を提供する。
• 物理的入力デバイスの空間追跡により、モダリティ間の切り替えがシームレスになり、認知的負荷とインタラクションの摩擦が軽減される。
• 仮想UI要素（例：スライダー、カラーセレクタ）を物理キーまたはマウス表面にマッピングすることで、入力の確実性が向上し、誤り率が低下する。
• 片手で空間的選択、もう片手で確認を行うマルチモーダルインタラクションパターンは、タスク効率を向上させ、ユーザの疲労を軽減する。
• 物理周辺機器に仮想データ表現を付加することで、アプリケーション固有のカスタマイズが可能となり、没入型アナリティクスにおける柔軟性と使いやすさが向上する。
• 固定型タッチスクリーン（例：ラップトップディスプレイ）の統合は、将来的な没入型アナリティクスワークフローにおける有望な拡張手段である。