[논문 리뷰] Gaze as a Supplementary Modality for Interacting with Ambient Intelligence Environments

Daniel Gepner, Jérôme Simonin외 1명|arXiv (Cornell University)|2007. 08. 26.

Gaze Tracking and Assistive Technology참고 문헌 18인용 수 5

한 줄 요약

이 논문은 앰비언트 인텔리전스 환경에서 시선을 보조 상호작용 모odal리티로 제안하며, 몰입형 가상현실 및 대규모 디스플레이에서 음성 기반 상호작용을 향상시킨다. 두 가지 기능적 인터페이스를 제시한다: 하나는 운동 기능 장애가 있는 사용자를 위한 지도 및 소프트웨어 접근을 위한 시선 기반 인터페이스이며, 다른 하나는 시선에 따라 조절되는 디스플레이를 정교화하기 위한 것으로, 실제 테스트와 반복적 설계를 통해 향상된 사용성과 접근성을 입증한다.

ABSTRACT

We present our current research on the implementation of gaze as an efficient and usable pointing modality supplementary to speech, for interacting with augmented objects in our daily environment or large displays, especially immersive virtual reality environments, such as reality centres and caves. We are also addressing issues relating to the use of gaze as the main interaction input modality. We have designed and developed two operational user interfaces: one for providing motor-disabled users with easy gaze-based access to map applications and graphical software; the other for iteratively testing and improving the usability of gaze-contingent displays.

연구 동기 및 목표

• 앰비언트 인텔리전스 환경에서 음성과 함께 시선을 보조 입력 모달리티로 통합하는 것을 탐색한다.
• 특히 운동 기능 장애가 있는 사용자에게서 발생하는 시선 기반 상호작용의 사용성 및 접근성 문제를 해결한다.
• 실세계 환경에서 시선 상호작용을 지원하는 실용적인 사용자 인터페이스를 개발하고 평가한다.
• 사용자 테스트와 인터페이스 개선을 통해 반복적으로 개선된 시선에 따라 조절되는 디스플레이 시스템을 개발한다.
• 몰입형 환경에서 시선이 보조 모달리티뿐 아니라 주요 상호작용 모달리티로도 실현 가능하고 효과적인지 탐구한다.

제안 방법

• 운동 기능 장애가 있는 사용자가 지도 애플리케이션과 그래픽 소프트웨어에 접근할 수 있도록 하는 시선 기반 인터페이스의 설계 및 구현.
• 실시간으로 대규모 디스플레이 및 가상현실 환경과 상호작용하기 위한 시선에 따라 조절되는 디스플레이 시스템 개발.
• 사용자 피드백을 통한 설계 개선을 위한 반복적 사용성 테스트의 활용.
• 앰비언트 인텔리전스 환경에서 다중모달 상호작용을 구현하기 위해 시선 추적 기술과 음성 입력을 통합.
• 사용자 중심 설계 원칙을 적용하여 시선 기반 상호작용의 접근성과 효율성 확보.
• 실제 환경에서의 시선 상호작용 평가를 위해 제어된 환경(예: 리얼리티 센터 및 CAVE 유사 몰입형 디스플레이)을 활용.

실험 결과

연구 질문

• RQ1 어떻게 시선을 앰비언트 인텔리전스 환경에서 음성과 함께 효과적으로 보조 모달리티로 활용할 수 있는가?
• RQ2 운동 기능 장애가 있는 사용자에게 시선 기반 상호작용을 구현할 때 발생하는 사용성 문제는 무엇인가?
• RQ3 몰입형 가상현실 환경에서 실시간이고 직관적인 상호작용을 위해 시선에 따라 조절되는 디스플레이는 어떻게 최적화할 수 있는가?
• RQ4 접근성과 효율성을 높이는 시선 기반 인터페이스 개발을 위한 설계 원칙은 무엇인가?
• RQ5 복잡한 상호작용 환경에서 시선이 얼마나 실현 가능한 주요 상호작용 모달리티로 기능할 수 있는가?

주요 결과

• 시선 기반 인터페이스는 운동 기능 장애가 있는 사용자가 신체적 노력 최소로 지도와 그래픽 소프트웨어를 탐색하는 데 성공적으로 기여하였다.
• 반복적 테스트를 통해 시선에 따라 조절되는 디스플레이는 사용자 피드백을 통한 개선을 거치면서 사용자 상호작용 속도와 정확도가 크게 향상됨을 확인하였다.
• 시선과 음성 입력의 통합은 다중모달 상호작용을 향상시켜 입력 오류를 줄이고 시스템 반응성을 높였다.
• 리얼리티 센터 및 CAVE와 같은 몰입형 환경에서 시스템은 안정적인 성능을 보여 실세계 적용 가능성을 확인하였다.
• 사용자 연구 결과, 특히 운동 기능 제한이 있는 사용자들 사이에서 시선 기반 인터페이스에 대해 높은 사용성과 만족도가 나타났다.
• 연구는 시선이 제어되고 잘 설계된 시스템에서는 보조 모달리티뿐 아니라 주요 상호작용 모달리티로도 효과적으로 작동할 수 있음을 확인하였다.