[论文解读] LEyes: A Lightweight Framework for Deep Learning-Based Eye Tracking using Synthetic Eye Images

Sean Anthony Byrne, Virmarie Maquiling+3 more|arXiv (Cornell University)|Sep 12, 2023

Gaze Tracking and Assistive TechnologyComputer Science被引用 3

一句话总结

LEyes 是一种轻量级、基于合成数据生成的深度学习眼动追踪框架，仅通过简单的光照分布建模关键图像特征——瞳孔和角膜反光（CR）位置。该框架可高效训练神经网络，实现在瞳孔与CR定位任务上的最先进性能，优于现有方法，甚至在低成本硬件上超越商用眼动追踪设备。

ABSTRACT

Deep learning has bolstered gaze estimation techniques, but real-world deployment has been impeded by inadequate training datasets. This problem is exacerbated by both hardware-induced variations in eye images and inherent biological differences across the recorded participants, leading to both feature and pixel-level variance that hinders the generalizability of models trained on specific datasets. While synthetic datasets can be a solution, their creation is both time and resource-intensive. To address this problem, we present a framework called Light Eyes or "LEyes" which, unlike conventional photorealistic methods, only models key image features required for video-based eye tracking using simple light distributions. LEyes facilitates easy configuration for training neural networks across diverse gaze-estimation tasks. We demonstrate that models trained using LEyes are consistently on-par or outperform other state-of-the-art algorithms in terms of pupil and CR localization across well-known datasets. In addition, a LEyes trained model outperforms the industry standard eye tracker using significantly more cost-effective hardware. Going forward, we are confident that LEyes will revolutionize synthetic data generation for gaze estimation models, and lead to significant improvements of the next generation video-based eye trackers.

研究动机与目标

• 通过生成合成眼图像，解决基于深度学习的眼动估计中的数据稀缺与标注负担问题。
• 克服真实眼图像中因硬件与生物差异导致的域偏移问题，提升模型泛化能力。
• 开发一种轻量级、可配置的框架，利用极少计算资源在多种眼动估计任务中训练深度学习模型。
• 通过在合成数据上训练模型，实现在低成本硬件上的高性能眼动估计，确保模型在真实世界条件下具有良好泛化能力。
• 提供一种可扩展且高效的替代方案，用于生成逼真度较低的合成数据，仅聚焦于P-CR眼动追踪所需的关键特征。

提出的方法

• 使用简单的光照分布建模关键视觉特征——瞳孔与CR位置，而非逼真渲染。
• 定义一个参数化生成器，基于真实眼图像特征的统计分布（如瞳孔强度、CR位置）生成合成眼图像。
• 采用两阶段图像处理流水线：第一阶段通过阈值分割定位瞳孔与CR中心；第二阶段使用掩码裁剪图的CNN进行精细化处理。
• 在CR裁剪图上应用半径48像素的黑色圆形掩码，在瞳孔裁剪图上应用大小为瞳孔椭圆1.4倍的灰色椭圆掩码，再进行CNN推理。
• 在LEyes生成的合成数据上训练神经网络，并使用RMS-S2S精度与眼动准确率指标在真实数据集上评估性能。
• 基于3×3注视点网格，使用二阶多项式模型（含一阶交互项）对眼动信号进行校准，以提升精度。

Figure 1: A. Images from the four datasets we used to test the LEyes framework. B. The LEyes synthetic training sets corresponding to the real eye datasets in A. These images are based on the light distributions of the real eye datasets. C. This shows the predictions of the LEyes trained model on th

实验结果

研究问题

• RQ1 基于最小视觉特征的轻量级合成数据生成框架，能否在瞳孔与CR定位任务中实现与最先进方法相当或更优的性能？
• RQ2 LEyes生成的合成数据在不同硬件配置与眼图像生物差异下的泛化能力如何？
• RQ3 在低成本硬件上部署时，基于LEyes生成数据训练的模型能否超越工业标准商用眼动追踪设备？
• RQ4 与在真实数据集上训练的模型相比，LEyes训练的模型在眼动准确率与精度方面表现如何？
• RQ5 仅使用关键图像特征（瞳孔与CR）与完整逼真渲染相比，对模型效率与泛化能力有何影响？

主要发现

• 在多个基准数据集上，基于LEyes生成的合成数据训练的模型在瞳孔与CR定位任务中达到最先进性能。
• 在低成本硬件上，LEyes训练的模型优于工业标准EyeTracker，展现出更优的泛化能力与鲁棒性。
• LEyes生成的数据在多种记录条件下保持一致性能，有效缓解了因硬件与生物差异导致的域偏移。
• 该框架在眼动估计中实现高精度，RMS-S2S精度指标与现有方法在真实眼图像数据上的表现相当或更优。
• 合成数据生成过程计算效率高，且几乎无需标注，显著降低了数据采集与标注成本。
• 通过使用简单光照分布与特征专用掩码，实现了高性能模型，无需复杂且资源密集的逼真渲染。

(A)