[논문 리뷰] Robust Real-Time Multi-View Eye Tracking

Nuri Murat Arar, Jean‐Philippe Thiran|arXiv (Cornell University)|2017. 11. 15.

Gaze Tracking and Assistive Technology참고 문헌 46인용 수 5

한 줄 요약

이 논문은 동시에 여러 눈의 외형을 활용하여 실제 환경 조건에서의 강인성을 향상시키는 실시간 다중 카메라 눈동자 추적 프레임워크를 제안한다. 머리 자세와 예측된 눈동자 움직임을 고려한 적응형 신뢰도 기반 융합 메커니즘을 통해 눈동자 추정치를 융합함으로써, 단일 시점 방법에 비해 머리 움직임, 안경 착용, 조도 변화에 더 강인한 성능을 달성하며, 30 fps에서 약 1°의 정확도를 확보한다.

ABSTRACT

Despite significant advances in improving the gaze tracking accuracy under controlled conditions, the tracking robustness under real-world conditions, such as large head pose and movements, use of eyeglasses, illumination and eye type variations, remains a major challenge in eye tracking. In this paper, we revisit this challenge and introduce a real-time multi-camera eye tracking framework to improve the tracking robustness. First, differently from previous work, we design a multi-view tracking setup that allows for acquiring multiple eye appearances simultaneously. Leveraging multi-view appearances enables to more reliably detect gaze features under challenging conditions, particularly when they are obstructed in conventional single-view appearance due to large head movements or eyewear effects. The features extracted on various appearances are then used for estimating multiple gaze outputs. Second, we propose to combine estimated gaze outputs through an adaptive fusion mechanism to compute user's overall point of regard. The proposed mechanism firstly determines the estimation reliability of each gaze output according to user's momentary head pose and predicted gazing behavior, and then performs a reliability-based weighted fusion. We demonstrate the efficacy of our framework with extensive simulations and user experiments on a collected dataset featuring 20 subjects. Our results show that in comparison with state-of-the-art eye trackers, the proposed framework provides not only a significant enhancement in accuracy but also a notable robustness. Our prototype system runs at 30 frames-per-second (fps) and achieves 1 degree accuracy under challenging experimental scenarios, which makes it suitable for applications demanding high accuracy and robustness.

연구 동기 및 목표

• 큰 머리 움직임, 안경 착용, 조도 변화와 같은 실제 환경 조건에서 기존 눈동자 추적 시스템의 강인성 부족 문제를 해결한다.
• 어려운 조건에서 특징이 가림되거나 왜곡될 수 있는 단일 시점 눈동자 추적의 한계를 극복한다.
• 다양한 눈의 외형에서 신뢰할 수 있는 특징 검출이 가능한 실시간 다중 카메라 프레임워크를 개발한다.
• 머리 자세와 예측된 눈동자 행동을 바탕으로 신뢰도를 산정하여 각 눈동자 추정치의 가중치를 조정하는 적응형 융합 메커니즘을 설계한다.
• 턱 받침이 없거나 복잡한 校정이 필요 없는 비구속 환경에서도 높은 정확도와 강인성을 입증한다.

제안 방법

• 다중 시점 카메라 구성을 도입하여 동시에 여러 눈의 외형을 촬영함으로써, 가림되거나 왜곡될 경우에도 특징의 가시성을 높인다.
• 각 카메라 시점의 눈 이미지에서 눈동자 관련 특징(예: 동공 중심, 반사점)을 별도로 추출한다.
• 각 시점의 이미지에 대해 눈동자 추정 방법(예: 교차비율 기반 또는 회귀 기반)을 적용하여 프레임당 다중 눈동자 출력을 추정한다.
• 순간적인 머리 자세와 예측된 눈동자 행동을 기반으로 각 눈동자 추정치의 신뢰도 점수를 계산하는 적응형 융합 메커니즘을 구현한다.
• 신뢰도 점수를 활용해 가중치를 적용한 융합을 통해 단일한 강인한 시선 지점 추정치를 도출한다.
• 실시간 성능을 최적화하여, 저해상도(90×50) 눈 이미지로 구성된 프로토타입 구현에서 30 fps를 달성한다.

실험 결과

연구 질문

• RQ1 단일 시점 시스템에 비해 다중 시점 눈동자 추적은 큰 머리 움직임 상황에서 눈동자 추정 강인성을 향상시키는가?
• RQ2 안경이나 머리 운동으로 인해 가려질 경우, 다수의 눈 외형을 활용함으로써 특징 검출의 신뢰성은 어떻게 향상되는가?
• RQ3 머리 자세와 눈동자 예측을 고려한 적응형 융합 메커니즘이 전체 정확도와 가용성에 얼마나 기여하는가?
• RQ4 턱 받침이 없고 복잡한 校정이 필요 없는 저해상도, 다중 카메라 설정이 1° 이내의 높은 정확도를 달성할 수 있는가?
• RQ5 다양한 조도 조건과 다양한 눈 유형 간에서 제안된 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 다중 시점 프레임워크는 어려운 조건에서 단일 카메라 설정 대비 약 20%의 정확도 향상(0.2–0.6°)과 10–20%의 가용성 향상을 달성한다.
• 실제 환경에서 큰 머리 움직임과 안경 착용 조건에서도 약 1°의 평균 추정 오차와 거의 100%의 추정 가용성을 확보한다.
• 적응형 융합 메커니즘이 정상 조건에서 정확도를 30% 향상시켜, 신뢰도 기반으로 동적으로 눈동자 추정치의 가중치를 조정한다.
• 시스템은 30 프레임/초로 작동하여 VR/AR 및 인간-컴퓨터 상호작용과 같은 실시간 응용 분야에 적합하다.
• 조도 변화와 개인 간 눈 유형의 다양성에 대해 매우 높은 내성을 보이며, 성능 저하가 심각하게 발생하지 않는다.
• 프로토타입은 턱 받침 없이 작동하며, 저해상도(90×50) 눈 이미지를 사용함으로써 최소한의 하드웨어 요구 조건에서도 높은 정확도를 달성할 수 있음을 입증한다.