[论文解读] Gaze as a Supplementary Modality for Interacting with Ambient Intelligence Environments

Daniel Gepner, Jérôme Simonin+1 more|arXiv (Cornell University)|Aug 26, 2007

Gaze Tracking and Assistive Technology参考文献 18被引用 5

一句话总结

本文提出将注视作为环境智能环境中语音交互的补充交互方式，以增强沉浸式虚拟现实和大尺寸显示屏中的语音交互体验。研究提出了两种可运行的界面：一种是为运动功能障碍用户实现基于注视的地图和软件访问；另一种是用于优化注视相关显示系统，通过真实世界测试和迭代设计，显著提升了可用性和可访问性。

ABSTRACT

We present our current research on the implementation of gaze as an efficient and usable pointing modality supplementary to speech, for interacting with augmented objects in our daily environment or large displays, especially immersive virtual reality environments, such as reality centres and caves. We are also addressing issues relating to the use of gaze as the main interaction input modality. We have designed and developed two operational user interfaces: one for providing motor-disabled users with easy gaze-based access to map applications and graphical software; the other for iteratively testing and improving the usability of gaze-contingent displays.

研究动机与目标

• 探索在环境智能环境中，将注视作为与语音并行的补充输入方式。
• 解决基于注视的交互在可用性和可访问性方面的问题，特别是针对运动功能障碍用户。
• 开发并评估适用于真实世界场景的基于注视的交互界面。
• 通过用户测试和界面优化，迭代改进注视相关显示系统。
• 研究在沉浸式环境中，注视作为补充和主要交互方式的可行性与有效性。

提出的方法

• 设计并实现一种面向运动功能障碍用户的基于注视的界面，用于访问地图应用和图形软件。
• 开发一种注视相关显示系统，用于与大尺寸显示屏和虚拟现实环境进行实时交互。
• 通过迭代可用性测试，优化和改进基于注视的交互技术设计。
• 将注视追踪与语音输入相结合，在环境智能环境中实现多模态交互。
• 应用以用户为中心的设计原则，确保基于注视的交互具备可访问性和高效性。
• 在受控环境中评估基于注视的交互，包括现实中心和类似CAVE的沉浸式显示环境。

实验结果

研究问题

• RQ1 在环境智能环境中，如何有效将注视作为语音的补充交互方式？
• RQ2 在为运动功能障碍用户实现基于注视的交互时，面临哪些可用性挑战？
• RQ3 如何优化注视相关显示系统，以实现在沉浸式虚拟现实环境中的实时、直观交互？
• RQ4 哪些设计原则有助于开发出可访问且高效的基于注视的交互界面？
• RQ5 在复杂的交互环境中，注视在多大程度上可作为可行的主要交互方式？

主要发现

• 基于注视的界面成功使运动功能障碍用户能够以极少的体力消耗导航地图和图形软件。
• 迭代测试表明，通过用户反馈优化后的注视相关显示系统显著提升了用户交互速度和准确性。
• 将注视与语音结合后，多模态交互得到增强，减少了输入错误并提高了系统响应速度。
• 该系统在现实中心和CAVE等沉浸式环境中表现出稳定性能，证实了其在真实世界部署的可行性。
• 用户研究显示，该基于注视的界面具有较高的可用性和用户满意度，尤其对运动控制能力有限的用户效果显著。
• 研究证实，注视不仅能作为有效的补充交互方式，也可在受控且设计良好的系统中作为主要交互方式发挥作用。