[논문 리뷰] A short review and primer on eye tracking in human computer interaction applications

Kristian Lukander|arXiv (Cornell University)|2016. 09. 23.

Gaze Tracking and Assistive Technology참고 문헌 6인용 수 3

한 줄 요약

이 논문은 인간-컴퓨터 상호작용(HCI) 분야에서 눈동자 움직임 및 시선 지표를 활용해 정신적 부담, 집중력, 피로도와 같은 인지 상태를 유추하는 데 중점을 두고, 눈 추적 기술에 대한 간결한 소개를 제공한다. 전기성안검도법(EOG)과 영상안검도법(VOG)과 같은 주요 눈 추적 기법을 검토하고, 정지 지속 시간, 사시 운동 속도, 깜빡임 빈도, 관심 영역 내 체류 시간 등의 매개변수를 활용하여 실제 응용 분야에서 사용자 상태를 모델링하는 방법을 설명한다.

ABSTRACT

The application of psychophysiologicy in human-computer interaction is a growing field with significant potential for future smart personalised systems. Working in this emerging field requires comprehension of an array of physiological signals and analysis techniques. Eye tracking is a widely used method for tracking user attention with gaze location, but also provides information on the internal cognitive and contextual state, intention, and the locus of the user's visual attention in interactive settings through a number of eye and eyelid movement related parameters. This paper presents a short review on the application of eye tracking in human-computer interaction. This paper aims to serve as a primer for the novice, enabling rapid familiarisation with the latest core concepts. We put special emphasis on everyday human-computer interface applications to distinguish from the more common clinical or sports uses of psychophysiology. This paper is an extract from a comprehensive review of the entire field of ambulatory psychophysiology, including 12 similar chapters, plus application guidelines and systematic review. Thus any citation should be made using the following reference: B. Cowley, M. Filetti, K. Lukander, J. Torniainen, A. Henelius, L. Ahonen, O. Barral, I. Kosunen, T. Valtonen, M. Huotilainen, N. Ravaja, G. Jacucci. The Psychophysiology Primer: a guide to methods and a broad review with a focus on human-computer interaction. Foundations and Trends in Human-Computer Interaction, vol. 9, no. 3-4, pp. 150--307, 2016.

연구 동기 및 목표

• HCI 분야의 심리생리학에 익숙하지 않은 연구자 및 전문가를 대상으로 눈 추적 기술에 대한 빠르고 접근성 있는 소개를 제공하기 위해.
• 임상적 또는 스포츠 기반 응용보다는 일상적인 상호작용 응용 분야에 중점을 두기 위해.
• 실제 환경에서의 인지적 및 맥락적 상태를 유추하는 데에 눈동자 운동 매개변수의 유용성을 강조하기 위해.
• 실험실 기반 눈 추적 연구와 생태학적으로 타당한 실제 HCI 응용 간 격차를 메우기 위해.
• 눈 추적 기술이 사용자 상태 모델링에 어떻게 기여할 수 있는지 보여줌으로써 스마트하고 개인화된 시스템 개발을 지원하기 위해.

제안 방법

• 눈의 근육에서 발생하는 전기적 신호를 측정하기 위해 전기성안검도법(EOG)을 활용하여 눈동자 움직임과 깜빡임을 고시간 해상도로 추적한다.
• 카메라 기반 시스템을 사용해 동공, 각막 반사 및 눈꺼풀 움직임을 감지함으로써 시선 지점(POG) 추정을 위한 영상안검도법(VOG)을 적용한다.
• 정지 지속 시간, 사시 운동의 변형 및 속도, 깜빡임 빈도 및 지속 시간, 관심 영역 내 체류 시간 등의 주요 안구 지표를 추출한다.
• 시선 경로 패턴, 정지 순서, 집중력 지수와 같은 유도된 매개변수를 적용하여 인지적 참여도 및 부담 수준을 평가한다.
• 이전 연구에서 확립된 지표인 사시 운동의 간섭, 마이크로사시, 심도 인식 및 주의 추적을 위한 융합 운동을 활용한다.
• 독서, 운전, 이중 작업 등 다양한 작업 환경의 연구 결과를 통합하여 안구 매개변수가 다양한 작업 간에 일반화 가능한지 검증한다.

실험 결과

연구 질문

• RQ1 독서나 이중 작업 수행과 같은 상호작용 작업에서 눈 추적 기술을 어떻게 활용하여 정신적 부담을 유추할 수 있는가?
• RQ2 사용자 상호작용 중 주의 집중의 이동 또는 흐름 변화를 가장 잘 나타내는 눈동자 운동 매개변수는 무엇인가?
• RQ3 깜빡임 빈도, 사시 운동 속도, 정지 패턴이 피로 또는 수면 부족의 신뢰할 수 있는 지표로 얼마나 유용한가?
• RQ4 독서와 시각적 검색과 같은 다른 작업 유형 간에 눈동자 운동 지표는 어떻게 다름이 있으며, 이는 일반화 가능성에 어떤 영향을 미치는가?
• RQ5 생태학적으로 타당한 실제 HCI 환경에 눈 추적 기술을 도입할 때의 실질적 제약 사항과 기회 요소는 무엇인가?

주요 결과

• 사시 운동 속도와 사시 운동 간섭 빈도는 정신적 부담의 강력한 지표로 작용하며, 높은 인지 부담과 함께 더 빠른 사시 운동과 증가한 간섭이 관찰된다.
• 깜빡임 빈도 감소와 정지 집중 증가는 높은 시각적 작업 집중과 관련이 있으며, 수평적 융합 증가는 청각 작업 참여도를 나타낸다.
• 최고의 사시 운동 속도는 수면 부족을 탐지하는 데 있어 가장 강력한 안구 운동 매개변수로 확인되었으며, 인지 성능 저하와 강한 상관관계를 보였다.
• 깜빡임 지속 시간과 진폭, 사시 운동 빈도 및 속도는 피로 상태에서 뚜렷한 변화를 보이며, 수면 부족 탐지에 신뢰할 수 있는 지표로 기능한다.
• 특정 인터페이스 요소에 대한 체류 시간은 주의 분포와 이해도와 관련이 있으며, '매력적인 세부 정보'는 장기적인 정지와 기억력 저하를 유도한다.
• 정지 빈도와 깜빡임 빈도와 같은 눈 기반 지표는 이완 상태 대비 집중 상태, 각성 상태 대비 피로 상태를 분류할 수 있으며, 정확도는 67%에서 93%까지 다양하다.