[论文解读] ElSe: Ellipse Selection for Robust Pupil Detection in Real-World Environments

Wolfgang Fuhl, Thiago Santini+2 more|arXiv (Cornell University)|Nov 20, 2015

Gaze Tracking and Assistive Technology被引用 42

一句话总结

ElSe 是一种鲁棒的、实时的虹膜检测算法，通过边缘滤波、椭圆评估和验证，显著提升了在反射、光照变化和非轴向相机角度等复杂现实环境下的检测准确率。在来自自然环境的 94,713 幅人工标注眼图像数据集上，其检测率相比现有最佳方法 ExCuSe 平均提升了 14.53%。

ABSTRACT

Fast and robust pupil detection is an essential prerequisite for video-based eye-tracking in real-world settings. Several algorithms for image-based pupil detection have been proposed, their applicability is mostly limited to laboratory conditions. In realworld scenarios, automated pupil detection has to face various challenges, such as illumination changes, reflections (on glasses), make-up, non-centered eye recording, and physiological eye characteristics. We propose ElSe, a novel algorithm based on ellipse evaluation of a filtered edge image. We aim at a robust, resource-saving approach that can be integrated in embedded architectures e.g. driving. The proposed algorithm was evaluated against four state-of-the-art methods on over 93,000 hand-labeled images from which 55,000 are new images contributed by this work. On average, the proposed method achieved a 14.53% improvement on the detection rate relative to the best state-of-the-art performer. download:ftp://[e-mail]. de (password:eyedata).

研究动机与目标

• 解决现有虹膜检测算法在光照变化、反光和非轴向相机定位等真实环境中鲁棒性差的问题。
• 开发一种轻量级、实时的算法，适用于车载眼动追踪器或手术辅助设备等嵌入式系统。
• 创建一个公开可用的、高质量的 94,713 幅人工标注眼图像数据集，以支持未来真实世界眼动追踪研究。
• 通过实现实时、自动化的虹膜检测，减少在动态、非实验室环境下眼动追踪数据的手动后期处理需求。

提出的方法

• 算法首先对眼图像应用 Canny 边缘检测器提取边缘，随后通过形态学滤波增强类似虹膜的结构。
• 采用基于卷积的粗略定位方法，通过检测具有高边缘对比度的暗色圆形区域来识别候选虹膜区域。
• 从边缘点生成一组候选椭圆，并根据几何约束（如长宽比、面积和半径一致性）选择最优椭圆。
• 利用基于亮度的准则对所选椭圆进行验证，确保其对应真实虹膜，从而排除来自反光或噪声的假阳性结果。
• 关键参数（如最小平均线距离、有效性阈值和半径缩放）经过调优，以在检测准确率和假阳性率之间取得平衡。
• 方法包含最终验证步骤，通过检查椭圆与周围强度分布的一致性，进一步提升鲁棒性。

实验结果

研究问题

• RQ1 在存在反光和光照变化等真实环境条件下，ElSe 相较于最先进虹膜检测算法的性能表现如何？
• RQ2 关键算法参数（如有效性阈值、最小平均线距离和半径缩放）对检测准确率和假阳性率的影响如何？
• RQ3 边缘滤波、椭圆拟合与几何验证的组合能否在具有挑战性的非实验室眼动追踪场景中实现鲁棒的虹膜检测？
• RQ4 所提算法在多大程度上减少了实时眼动追踪应用中对手动数据后期处理的需求？

主要发现

• 在包含 94,713 幅图像的完整数据集上，ElSe 相较于性能最佳的基线方法 ExCuSe，平均检测率提升了 14.53%。
• 即使在强反射、非轴向相机角度和光照剧烈变化等极端挑战下，该算法仍保持高性能，且在所有测试条件下均优于 SET、Starburst 和 Świrski 等方法。
• 参数调优表明，有效性阈值对检测率与假阳性率之间的权衡影响最大，较高阈值可降低假阳性率，但会轻微降低检测率。
• 半径缩放参数显著影响运行时间，但对检测准确率影响较小，最优值可在速度与性能之间实现良好平衡。
• 失败案例主要源于密集小反光区域导致的边缘滤波失效，或虹膜与周围皮肤间对比度过高，但此类情况在数据集中较为罕见。
• 作者发布了包含 94,713 幅人工标注图像的完整数据集以及 ElSe 的源代码，以支持可复现性及未来真实世界眼动追踪研究。