[논문 리뷰] Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry

Jiazhang Wang, Tianfu Wang외 3명|arXiv (Cornell University)|2023. 08. 14.

Gaze Tracking and Assistive Technology인용 수 6

한 줄 요약

이 논문은 단일 촬영을 통해 각막과 축막의 조밀한 3차원 표면 재구성을 실현함으로써 매우 정확한 눈 추적을 가능하게 하는 새로운 단일 촬영 반사율 측정법을 제안한다. 단계 측정 반사율 측정법(PMD)을 활용하여 프레임당 40,000개 이상의 표면 점을 캡처함으로써 현재 최고 수준의 반사 광점 추적 방식보다 3,300배 이상 많은 데이터를 확보하며, 이로 인해 시선 추정 오차가 ≤0.25° 이내로 유지되어 정확성과 내성 모두 크게 향상된다.

ABSTRACT

Eye-tracking plays a crucial role in the development of virtual reality devices, neuroscience research, and psychology. Despite its significance in numerous applications, achieving an accurate, robust, and fast eye-tracking solution remains a considerable challenge for current state-of-the-art methods. While existing reflection-based techniques (e.g., "glint tracking") are considered to be very accurate, their performance is limited by their reliance on sparse 3D surface data acquired solely from the cornea surface. In this paper, we rethink the way how specular reflections can be used for eye tracking: We propose a novel method for accurate and fast evaluation of the gaze direction that exploits teachings from single-shot phase-measuring-deflectometry(PMD). In contrast to state-of-the-art reflection-based methods, our method acquires dense 3D surface information of both cornea and sclera within only one single camera frame (single-shot). For a typical measurement, we acquire $>3000 imes$ more surface reflection points ("glints") than conventional methods. We show the feasibility of our approach with experimentally evaluated gaze errors on a realistic model eye below only $0.12^\circ$. Moreover, we demonstrate quantitative measurements on real human eyes in vivo, reaching accuracy values between only $0.46^\circ$ and $0.97^\circ$.

연구 동기 및 목표

• 현재 반사 기반 눈 추적 방법이 10~15개의 흩어진 표면 점들만을 기반으로 하여 정확도가 낮고 점의 밀도가 낮다는 문제를 해결하기 위해.
• 단일 카메라 프레임 내에서 각막과 축막의 조밀한 3차원 표면 데이터를 확보하여 고정밀·실시간 눈 추적을 가능하게 하기 위해.
• 각막 굴절로 인해 오류가 발생하기 쉬운 2차원 영상 특징(예: 동공 중심, 망막 무늬)에 대한 의존도를 줄이기 위해.
• 혈관 등 표면의 비정상적인 구조물이나 망막과 각막이 만나는 부위(Limbus)와 같은 복잡한 표면 변화에 대해도 내성적으로 대응할 수 있는 방법을 개발하기 위해.
• 향후 VR/AR에서 안경 없이 실시간 시력 보정을 가능하게 하기 위한 응용 분야를 열어주기 위해, 3차원 표면 데이터를 부가적으로 활용할 수 있도록 하기 위해.

제안 방법

• 표준 모니터에 표시된 정현파 패턴을 사용하여 단일 촬영 단계 측정 반사율 측정법(PMD)을 적용하여 눈을 조명한다.
• 고해상도 카메라를 사용해 눈의 반사성 표면에서 반사된 패턴을 캡처함으로써 각막과 축막의 조밀한 3차원 재구성을 실현한다.
• 광학축과 교차하지 않는 비구형 영역(예: 혈관, Limbus)에서 유도된 이상치 노멀을 제거하기 위해 최소 제곱 최적화 기법을 적용한다.
• 재구성된 표면 노멀을 역추적하여 그 교차점을 찾음으로써 눈의 광학 중심에 해당하는 시선 방향을 추정한다.
• 최소한의 기하학적 가정만을 요구함—각막과 축막의 회전 대칭성만 필요하며, 완벽한 구형이 아니어도 됨.
• 일반 소매 제품(디스플레이 및 카메라)을 사용한 校정된 PMD 설정을 통해 표면 재구성 정확도를 마이크로미터 이내로 확보한다.

실험 결과

연구 질문

• RQ1 단일 촬영 반사율 측정법을 통한 조밀한 3차원 표면 재구성은 현재 광점 기반 방법보다 눈 추적 정확도를 크게 향상시킬 수 있는가?
• RQ2 혈관과 Limbus 영역을 포함한 복잡하고 비균일한 눈 표면에 대해서도 성능 저하 없이 잘 작동할 수 있는가?
• RQ3 2차원 영상 특징(예: 동공 중심)에 의존하지 않고도 단일 카메라 프레임만으로 0.25° 이내의 시선 오차를 달성할 수 있는가?
• RQ4 데이터 포인트 밀도와 계산 효율성 측면에서 현재 최고 수준의 시스템과 비교해 성능은 어떠한가?
• RQ5 3차원 표면 재구성 기술은 향후 VR/AR에서 실시간 시력 보정과 같은 추가 응용 분야에 활용될 수 있는가?

주요 결과

• 실생활 평가에서 평균 상대 시선 오차가 ≤0.25°로 나타나 현재 최고 수준의 기술(일般 0.5°~1° 범위)보다 뚜렷한 향상을 이룩하였다.
• 시스템은 프레임당 40,000개 이상의 3차원 표면 점을 캡처함—기존의 광점 추적 기법이 사용하는 약 12개 점보다 3,300배 이상 높은 밀도를 확보하였다.
• 실제 인간 눈에서 수행한 정성적 내생 평가에서 재구성된 시선 벡터가 동공 중심을 통과하고 시각 광학축과 일치하는 것으로 확인되어 정확한 방향 추정이 이루어졌음을 입증하였다.
• 혈관 등 표면의 비정상적인 요소와 고도로 굴곡진 Limbus 영역에 대해서도 최소 제곱 최적화를 통한 이상치 제거 기법으로 성공적으로 내성적으로 대응함을 입증하였다.
• 3차원 표면 재구성이 충분히 정밀하여 VR/AR 헤드셋에서 사용자 안경 없이도 실시간 시력 보정을 가능하게 할 수 있을 정도로 정확하다.
• 각막 굴절로 인한 오류를 줄이기 위해 2차원 영상 특징(예: 망막, 동공 중심)에 의존하지 않아 정확성과 내성 모두 향상되었다.