[论文解读] Labelled pupils in the wild: a dataset for studying pupil detection in unconstrained environments

Marc Tonsen, Xucong Zhang+2 more|arXiv (Cornell University)|Mar 14, 2016

Gaze Tracking and Assistive Technology参考文献 8被引用 69

一句话总结

本论文提出了野外标记瞳孔数据集（LPW），包含来自22名参与者在多样化真实环境中的66段高速（95 FPS）眼区视频。该数据集可用于在非约束条件下对瞳孔检测算法进行基准测试，揭示了光照、视觉辅助设备和分辨率相关的关键挑战。

ABSTRACT

We present labelled pupils in the wild (LPW), a novel dataset of 66 high-quality, high-speed eye region videos for the development and evaluation of pupil detection algorithms. The videos in our dataset were recorded from 22 participants in everyday locations at about 95 FPS using a state-of-the-art dark-pupil head-mounted eye tracker. They cover people of different ethnicities and a diverse set of everyday indoor and outdoor illumination environments, as well as natural gaze direction distributions. The dataset also includes participants wearing glasses, contact lenses, and make-up. We benchmark five state-of-the-art pupil detection algorithms on our dataset with respect to robustness and accuracy. We further study the influence of image resolution and vision aids as well as recording location (indoor, outdoor) on pupil detection performance. Our evaluations provide valuable insights into the general pupil detection problem and allow us to identify key challenges for robust pupil detection on head-mounted eye trackers.

研究动机与目标

• 为解决在自然环境中评估瞳孔检测算法时缺乏真实、非约束数据集的问题。
• 从不同种族背景的参与者中收集在各种光照和环境条件下高质量的眼动追踪数据。
• 评估最先进瞳孔检测算法在真实世界变化条件下的鲁棒性和准确性。
• 研究图像分辨率、视觉辅助设备（眼镜、隐形眼镜、化妆）以及录制位置（室内/室外）对检测性能的影响。

提出的方法

• 使用暗瞳孔头戴式眼动仪，在自然的室内和室外环境中采集了66段高速（95 FPS）眼区视频。
• 从不同种族背景的22名参与者中收集数据，包括佩戴眼镜、隐形眼镜和化妆的个体。
• 对所有视频进行精确瞳孔真实值标注，用于算法的训练与评估。
• 在不同条件下对五种最先进瞳孔检测算法在该数据集上进行基准测试。
• 系统性地评估在不同分辨率水平、视觉辅助设备和环境设置（室内 vs. 室外）下的性能表现。
• 使用标准指标评估准确性和鲁棒性，重点关注真实世界泛化能力。

实验结果

研究问题

• RQ1 最先进瞳孔检测算法在真实世界、非约束眼动追踪数据上的表现如何？
• RQ2 图像分辨率的变化对瞳孔检测准确性和鲁棒性有何影响？
• RQ3 眼镜、隐形眼镜和化妆等视觉辅助设备对瞳孔检测性能有何影响？
• RQ4 录制位置（室内 vs. 室外）如何影响检测的可靠性？
• RQ5 在自然、非约束条件下实现鲁棒瞳孔检测面临哪些关键挑战？

主要发现

• 在低光照和强眩光的室外条件下，瞳孔检测性能显著下降，尤其对未针对动态光照优化的算法影响更大。
• 眼镜和化妆等视觉辅助设备带来了显著挑战，佩戴者检测准确率明显下降。
• 更高的图像分辨率可提升检测准确率，但超过某一阈值后增益逐渐减小，表明边际效益递减。
• 在约束数据集上训练的算法在LPW数据集上表现欠佳，凸显了需要更多样化的训练数据。
• 室外录制的检测性能方差更高，原因在于光照和运动的不可预测性。
• 该数据集表明，当前算法在面对遮挡和镜面反射时表现不佳，尤其在参与者自然移动时更为明显。