[论文解读] Accurate Eye Tracking from Dense 3D Surface Reconstructions using Single-Shot Deflectometry

Jiazhang Wang, Tianfu Wang+3 more|arXiv (Cornell University)|Aug 14, 2023

Gaze Tracking and Assistive Technology被引用 6

一句话总结

本文提出了一种新颖的单次采集偏振测角法，可实现角膜和巩膜的密集三维表面重建，从而实现高精度的眼动追踪。通过利用相位测量测角法（PMD），该方法每帧可捕捉超过40,000个表面点——比当前最先进的光点追踪方法多出3,300多倍——实现 gaze 估计误差 ≤0.25°，显著提升了精度与鲁棒性。

ABSTRACT

Eye-tracking plays a crucial role in the development of virtual reality devices, neuroscience research, and psychology. Despite its significance in numerous applications, achieving an accurate, robust, and fast eye-tracking solution remains a considerable challenge for current state-of-the-art methods. While existing reflection-based techniques (e.g., "glint tracking") are considered to be very accurate, their performance is limited by their reliance on sparse 3D surface data acquired solely from the cornea surface. In this paper, we rethink the way how specular reflections can be used for eye tracking: We propose a novel method for accurate and fast evaluation of the gaze direction that exploits teachings from single-shot phase-measuring-deflectometry(PMD). In contrast to state-of-the-art reflection-based methods, our method acquires dense 3D surface information of both cornea and sclera within only one single camera frame (single-shot). For a typical measurement, we acquire $>3000 imes$ more surface reflection points ("glints") than conventional methods. We show the feasibility of our approach with experimentally evaluated gaze errors on a realistic model eye below only $0.12^\circ$. Moreover, we demonstrate quantitative measurements on real human eyes in vivo, reaching accuracy values between only $0.46^\circ$ and $0.97^\circ$.

研究动机与目标

• 为克服当前基于反射的眼动追踪方法精度有限且点云稀疏的问题，这些方法仅依赖10–15个稀疏表面点。
• 通过在单帧相机图像中获取角膜和巩膜的密集三维表面数据，实现实时高精度眼动追踪。
• 减少对瞳孔中心或角膜纹理等2D图像特征的依赖，这些特征易受角膜折射影响而产生误差。
• 开发一种对表面不规则性（如巩膜上的血管和角膜缘区域）具有鲁棒性的方法。
• 为未来应用（如在VR/AR中无需戴眼镜即可实现实时视力矫正）提供支持，利用三维表面数据作为副产品。

提出的方法

• 利用单次采集相位测量测角法（PMD），通过标准显示器投射正弦光栅图案照亮眼睛。
• 使用高分辨率相机捕捉眼睛镜面反射的图案，从而实现对角膜和巩膜的密集三维重建。
• 采用最小二乘优化方法，剔除不与光轴相交的非球形区域（如血管、角膜缘）产生的异常法向量。
• 通过反向追踪重建的表面法向量，找到其交点以估计视线方向，该交点对应于眼睛的光学中心。
• 仅依赖最少的几何假设——仅要求角膜和巩膜具有旋转对称性，而非完美球形。
• 采用经标定的PMD系统，使用现成组件（显示器和相机），实现表面重建的亚微米级精度。

实验结果

研究问题

• RQ1 能否通过单次采集测角法实现密集三维表面重建，显著提升眼动追踪精度，超越当前基于光点的方法？
• RQ2 该方法在处理复杂非均匀眼表面对（包括巩膜和角膜缘区域）时，性能衰减程度如何？
• RQ3 该方法能否仅通过一帧相机图像实现亚0.25°的眼动误差，且不依赖瞳孔中心等2D图像特征？
• RQ4 在数据点密度和计算效率方面，该方法与当前最先进的系统相比表现如何？
• RQ5 能否利用三维表面重建实现额外应用，如在VR/AR中实现实时视力矫正？

主要发现

• 在真实环境评估中，该方法实现了 ≤0.25° 的平均相对眼动误差，显著优于当前最先进水平（通常为0.5°至1°）。
• 系统每帧可捕捉超过40,000个三维表面点——比传统光点追踪使用的约12个点多出3,300多倍。
• 对真实人体眼睛进行的定性在体评估证实，重建的视线向量穿过瞳孔中心，并与视觉光轴对齐，表明方向估计正确。
• 该方法对表面不规则性（如巩膜上的血管和高度弯曲的角膜缘）具有鲁棒性，通过最小二乘优化成功实现异常值剔除。
• 三维表面重建精度足够高，可潜在支持在VR/AR头显中实现实时视力矫正，而无需佩戴眼镜或预先校准。
• 该方法不依赖于2D图像特征（如虹膜或瞳孔中心），减少了角膜折射带来的误差，提升了鲁棒性。