[논문 리뷰] An Approach to Track Reading Progression Using Eye-Gaze Fixation Points

Stephen Bottos, Balakumar Balasingam|arXiv (Cornell University)|2019. 02. 08.

Gaze Tracking and Assistive Technology참고 문헌 25인용 수 6

한 줄 요약

이 논문은 상용 눈동자 추적기에서 제공하는 노이즈가 많은 눈동자 고정 데이터를 활용하여 독서 중 선 검출을 향상시키기 위해 은닉 마르코프 모델(HMM) 기반 접근법을 제안한다. 통계적 방법으로 눈동자 패턴을 모델링하고 시간적 의존성을 활용함으로써, 이 방법은 83.1%의 선 검출 정확도를 달성하여 기준 이산화 방법 대비 22.5% 향상된 성능을 보였다.

ABSTRACT

In this paper, we consider the problem of tracking the eye-gaze of individuals while they engage in reading. Particularly, we develop ways to accurately track the line being read by an individual using commercially available eye tracking devices. Such an approach will enable futuristic functionalities such as comprehension evaluation, interest level detection, and user-assisting applications like hands-free navigation and automatic scrolling. Existing commercial eye trackers provide an estimated location of the eye-gaze fixations every few milliseconds. However, this estimated data is found to be very noisy. As such, commercial eye-trackers are unable to accurately track lines while reading. In this paper we propose several statistical models to bridge the commercial gaze tracker outputs and eye-gaze patterns while reading. We then employ hidden Markov models to parametrize these statistical models and to accurately detect the line being read. The proposed approach is shown to yield an improvement of over 20% in line detection accuracy.

연구 동기 및 목표

• 상용 눈동자 추적 장치에서 제공하는 노이즈가 많은 눈동자 고정 데이터를 활용하여 독서 진행 상황을 정확히 추적하는 문제를 해결하기 위해.
• 원시적이고 노이즈가 많은 눈동자 추적기 출력값과 실제 독서 선 진행 상황 사이의 격차를 메울 수 있는 통계적 모델을 개발하기 위해.
• 간단한 공간 이산화 방법을 초월하여 선 검출 정확도를 향상시키기 위해.
• 독서 인터페이스에서 이해도 평가, 관심 수준 감지, 손을 쓰지 않는 네비게이션 등의 실용적 응용을 가능하게 하기 위해.
• 독서 중 눈동자 움직임의 시간적 패턴을 모델링하는 데 있어 HMM의 효과를 입증하기 위해.

제안 방법

• 저자는 독서 중 읽고 있는 선을 은닉 상태로 간주하여, 각 선을 은닉 상태로 간주하는 은닉 마르코프 모델(HMM)을 사용하여 잠재 상태를 모델링한다.
• 눈동자 고정점은 수직 위치를 기반으로 하는 이산화 함수를 통해 이산적인 선 상태로 매핑된다.
• Gazepoint GP3 눈동자 추적기의 노이즈 수준과 동일한 수준의 노이즈를 가진 시뮬레이션 데이터를 사용하여 HMM을 훈련시켜 실제 눈동자 행동을 모델링한다.
• 관측된 눈동자 고정점들로부터 독서 중 가장 가능성 높은 선의 순서를 추론하기 위해 비터비 알고리즘을 적용한다.
• 모델 설계 시 샘플링 시간을 고려하였지만, 단순성을 유지하기 위해 최종 HMM은 고정된 60Hz의 샘플링 레이트를 사용한다.
• 실제 데이터는 Gazepoint GP3 눈동자 추적기를 사용하여 수집되었으며, 캘리브레이션과 25페이지의 텍스트(페이지당 25줄)를 사용하여 평가되었다.

실험 결과

연구 질문

• RQ1 통계적 모델이 독서 중 눈동자 고정 데이터의 노이즈를 효과적으로 줄여 선 검출 정확도를 향상시킬 수 있는가?
• RQ2 독서 중 시선 검출에 있어 은닉 마르코프 모델(HMM)이 간단한 공간 이산화 방법에 비해 어떤가?
• RQ3 눈동자 고정점 순서의 시간적 의존성을 모델링할 경우 독서 진행 상황 추적 성능이 얼마나 향상되는가?
• RQ4 시뮬레이션 데이터로 훈련된 HMM이 상용 장치에서의 실제 눈동자 추적 데이터에 효과적으로 일반화될 수 있는가?
• RQ5 실제 눈동자 데이터에서 관찰되는 상관 노이즈가 선 검출 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 HMM 기반 선 검출 시스템은 평균 83.1%의 선 검출 정확도를 달성하였으며, 이는 기준 이산화 방법 대비 22.5% 향상된 성능이다.
• 이산화 함수만을 사용한 경우 평균 오차는 39.5%였지만, HMM을 적용함으로써 이는 16.9%로 감소하였다.
• 실제 눈동자 추적 데이터에서는 x 및 y 방향 모두에서 시간에 따라 상관되는 노이즈가 나타났으며, 이는 初기 시뮬레이션에서 완전히 반영되지 않았다.
• HMM 모델은 눈동자 고정점 순서의 시간적 의존성을 효과적으로 활용하여 노이즈에 대한 강건성을 향상시켰다.
• 본 연구는 상용 장치에서 유입되는 노이즈가 많은 입력 데이터에도 불구하고 HMM이 독서 중 눈동자 움직임 패턴을 효과적으로 모델링할 수 있음을 확인하였다.
• 향후 샘플링 시간 조정을 HMM 프레임워크에 통합함으로써 실시간 눈동자 동역학을 더 잘 모델링할 수 있을 것으로 기대된다.