[论文解读] Back to the Future: Revisiting Mouse and Keyboard Interaction for HMD-based Immersive Analytics

Jens Grubert, Eyal Ofek+2 more|arXiv (Cornell University)|Jan 1, 2020

Virtual Reality Applications and Impacts参考文献 23被引用 5

一句话总结

本文倡导将物理键盘和鼠标集成到基于HMD的沉浸式分析系统中，以结合台式机输入的精确性与低疲劳特性，以及空中手势的空间表达能力。通过对手部和外设的空间追踪，该方法实现了无缝的多模态交互——例如，一手用于空间选择，另一手用于键盘确认——从而在数据分析任务中提升准确性和效率。

ABSTRACT

With the rise of natural user interfaces, immersive analytics applications often focus on novel forms of interaction modalities such as mid-air gestures, gaze or tangible interaction utilizing input devices such as depth-sensors, touch screens and eye-trackers. At the same time, traditional input devices such as the physical keyboard and mouse are used to a lesser extent. We argue, that for certain work scenarios, such as conducting analytic tasks at stationary desktop settings, it can be valuable to combine the benefits of novel and established input devices as well as input modalities to create productive immersive analytics environments.

研究动机与目标

• 解决纯粹空间交互在沉浸式分析中的局限性，如用户疲劳和输入不准确。
• 探索将传统台式机输入设备（键盘和鼠标）与沉浸式HMD结合，用于固定位置、单用户数据分析工作的潜力。
• 研究物理输入设备的空间追踪如何实现空中手势与精确2D输入之间的无缝切换。
• 通过将虚拟UI元素（如滑块、节点选择器）映射到物理按键和鼠标表面，提升交互保真度。
• 推广一种混合交互模型，充分发挥两种交互方式的优势——空间表达性与符号精确性。

提出的方法

• 利用现代HMD中的基于摄像头的内置追踪技术，实时追踪用户的手、键盘和鼠标的空间位置。
• 实现空中手势（如基于控制器的光线投射）与物理输入（鼠标点击、按键输入）之间的无缝切换。
• 将虚拟数据实体（如节点链接图中的节点）映射到物理按键，实现一对一或多按键选择。
• 通过将虚拟UI元素（如屏幕上的滑块或颜色选择器）映射到按键或鼠标区域，增强物理输入设备的功能。
• 通过追踪鼠标在三维空间中的移动，支持受约束的3D操作（如旋转、缩放）。
• 设计交互模式：一手执行不确定的空间选择（如注视或手势），另一手通过键盘或鼠标完成确认操作。

实验结果

研究问题

• RQ1 如何有效将物理键盘和鼠标集成到基于HMD的沉浸式分析环境中？
• RQ2 将空间交互与精确、低疲劳的台式机输入相结合，对数据分析任务有何优势？
• RQ3 物理输入设备的空间追踪如何实现空中输入与直接输入模态之间的无缝过渡？
• RQ4 如何通过在物理键盘和鼠标上增强虚拟UI元素来提升交互保真度？
• RQ5 当结合空间手势与键盘和鼠标的符号输入时，会涌现出哪些多模态交互模式？

主要发现

• 物理键盘和鼠标提供了精确且低疲劳的输入方式，可有效弥补空中手势在沉浸式分析中表达性强但易导致疲劳的不足。
• 对物理输入设备的空间追踪使不同输入模态之间的切换更加无缝，降低了认知负荷和交互摩擦。
• 将虚拟UI元素（如滑块、颜色选择器）映射到物理按键或鼠标表面，可提高输入确定性并降低错误率。
• 多模态交互模式（如一手用于空间选择，另一手用于确认）显著提升了任务效率并减轻了用户负担。
• 通过在物理外设上增强虚拟数据表示，可实现应用特定的适配，从而提升沉浸式分析中的灵活性与可用性。
• 将固定式触摸屏（如笔记本电脑显示屏）集成进来，为未来沉浸式分析工作流提供了有前景的扩展方向。