[论文解读] PupilNet: Convolutional Neural Networks for Robust Pupil Detection

Wolfgang Fuhl, Thiago Santini+2 more|arXiv (Cornell University)|Jan 19, 2016

Gaze Tracking and Assistive Technology参考文献 23被引用 119

一句话总结

一个双阶段卷积神经网络管道，用于鲁棒、实时的瞳孔检测，在现实世界条件下优于最先进的方法。

ABSTRACT

Real-time, accurate, and robust pupil detection is an essential prerequisite for pervasive video-based eye-tracking. However, automated pupil detection in real-world scenarios has proven to be an intricate challenge due to fast illumination changes, pupil occlusion, non centered and off-axis eye recording, and physiological eye characteristics. In this paper, we propose and evaluate a method based on a novel dual convolutional neural network pipeline. In its first stage the pipeline performs coarse pupil position identification using a convolutional neural network and subregions from a downscaled input image to decrease computational costs. Using subregions derived from a small window around the initial pupil position estimate, the second pipeline stage employs another convolutional neural network to refine this position, resulting in an increased pupil detection rate up to 25% in comparison with the best performing state-of-the-art algorithm. Annotated data sets can be made available upon request.

研究动机与目标

• 为在自然环境中的视频式眼动追踪动机实现鲁棒、实时的瞳孔检测。
• 提出一个两阶段 CNN 管道以减少噪声并细化瞳孔定位。
• 实现适用于移动眼动追踪设备的高效计算，无需GPU。
• 在包含真实世界伪影的大型、具有挑战性的数据集上评估该方法。

提出的方法

• 将输入图像降采样并划分为重叠的24x24小区域。
• 阶段1：一个浅层 CNN 评估子区域以产生粗略的瞳孔位置（0-1 评分）。
• 阶段2：在原始图像中围绕粗略位置采样89x89区域并用第二个 CNN 进行细化。
• 训练使用固定学习率的监督批量梯度下降；不进行归一化。
• 提供在线数据生成工作流用于在线瞳孔中心检测。

实验结果

研究问题

• RQ1 在光照变化、遮挡和反射条件下，双 CNN 管道是否能够提高瞳孔检测的鲁棒性？
• RQ2 粗到细的定位是否能在保持或提高准确性的同时降低计算量？
• RQ3 所提出的方法与在具有挑战性的现实数据集上的最先进瞳孔检测算法相比如何？

主要发现

• 双阶段 CNN 管道在具有挑战性的现实世界数据上实现的瞳孔检测率高于最先进的方法。
• 细定位的 CNN FK8P8 和 SK8P8 分别比最佳现有算法领先约25%和15%。
• 采用 CK8P8 配置的粗定位提供了性能提升，并且可以通过更长的训练（ext）获得更好的结果。
• 在典型的移动 CPU 硬件上无需 GPU 即可实现实时能力。