[论文解读] IMAGE BASED EYE GAZE TRACKING AND ITS APPLICATIONS

Anjith George|arXiv (Cornell University)|Jan 1, 2017

Gaze Tracking and Assistive Technology参考文献 157被引用 2

一句话总结

本文提出了一种低成本、鲁棒的眼动追踪系统，使用现成的网络摄像头和头戴式摄像头，通过两阶段虹膜中心定位算法和基于卷积神经网络（CNN）的眼动方向分类器，实现在运动模糊、反光和光照变化等挑战性条件下的实时、用户无关的眼动估计。关键贡献在于提出了一套完全基于图像的框架，无需用户校准，支持生物特征识别和第一人称活动识别等应用。

ABSTRACT

Eye movements play a vital role in perceiving the world. Eye gaze can give a direct indication of the users point of attention, which can be useful in improving human-computer interaction. Gaze estimation in a non-intrusive manner can make human-computer interaction more natural. Eye tracking can be used for several applications such as fatigue detection, biometric authentication, disease diagnosis, activity recognition, alertness level estimation, gaze-contingent display, human-computer interaction, etc. Even though eye-tracking technology has been around for many decades, it has not found much use in consumer applications. The main reasons are the high cost of eye tracking hardware and lack of consumer level applications. In this work, we attempt to address these two issues. In the first part of this work, image-based algorithms are developed for gaze tracking which includes a new two-stage iris center localization algorithm. We have developed a new algorithm which works in challenging conditions such as motion blur, glint, and varying illumination levels. A person independent gaze direction classification framework using a convolutional neural network is also developed which eliminates the requirement of user-specific calibration. In the second part of this work, we have developed two applications which can benefit from eye tracking data. A new framework for biometric identification based on eye movement parameters is developed. A framework for activity recognition, using gaze data from a head-mounted eye tracker is also developed. The information from gaze data, ego-motion, and visual features are integrated to classify the activities.

研究动机与目标

• 开发一种使用标准网络摄像头和头戴式摄像头的低成本、非侵入式眼动追踪系统。
• 实现在无需个体校准情况下的用户无关眼动追踪。
• 提升在运动模糊、反光和光照变化等真实环境条件下的鲁棒性。
• 将眼动数据集成到生物特征识别和第一人称活动识别系统中。
• 开发基于卷积神经网络的分类器，实现实时眼动方向分类。

提出的方法

• 提出一种两阶段虹膜中心定位算法，以提高眼动估计的准确性。
• 利用眼角和虹膜中心构建眼动追踪框架，硬件需求极低。
• 应用头戴式眼动追踪器，并结合一种对运动模糊、反光和光照变化具有鲁棒性的新算法。
• 采用基于卷积神经网络的分类器实现实时眼动方向分类，无需用户特定校准。
• 将眼动数据与自我运动和视觉特征融合，用于第一人称活动识别。
• 提出一种基于注视和扫视特征的分数融合方法，用于基于眼动的生物特征识别。

实验结果

研究问题

• RQ1 能否仅使用基于图像的方法和现成摄像头，开发出一种鲁棒且用户无关的眼动追踪系统？
• RQ2 在运动模糊和反光等复杂视觉条件下，如何实现准确且实时的眼动估计？
• RQ3 当与传统虹膜识别融合时，眼动参数在多大程度上可提升生物特征识别性能？
• RQ4 在传统传感器失效的室内环境中，头戴式追踪器获取的眼动数据能否提升活动识别的准确性？
• RQ5 基于卷积神经网络的分类器在实现实时、免校准眼动方向分类方面效果如何？

主要发现

• 所提出的两阶段虹膜中心定位算法在光照变化和运动条件下显著提升了眼动追踪的准确性。
• 系统采用基于CNN的方法实现实时眼动方向分类，且无需用户特定校准。
• 该框架在户外及复杂环境中表现出强鲁棒性，包括运动模糊和反光情况。
• 将眼动、自我运动和视觉特征融合后，显著提升了室内环境下的活动识别准确率。
• 基于注视和扫视特征的分数融合方法显著增强了生物特征识别性能，并具备内置的活体检测能力。
• 由于硬件成本低且鲁棒性强，该系统可实现眼动追踪在消费级应用中的实际部署。