[论文解读] GEDDnet: A Network for Gaze Estimation with Dilation and Decomposition

Zhaokang Chen, Bertram E. Shi|arXiv (Cornell University)|Jan 25, 2020

Gaze Tracking and Assistive Technology参考文献 50被引用 12

一句话总结

GEDDnet 提出了一种新颖的深度学习框架，用于眼球追踪，通过空洞卷积捕捉细微的眼部外观变化，并采用眼球追踪分解方法，将与受试者无关的眼球追踪预测与与受试者相关的偏差分离。仅使用一两张目标图像进行最小化校准，即可实现最先进水平的准确度，误差降低高达35.6%，即使在无校准情况下，也比之前的方法高出6.3%以上。

ABSTRACT

Appearance-based gaze estimation from RGB images provides relatively unconstrained gaze tracking from commonly available hardware. The accuracy of subject-independent models is limited partly by small intra-subject and large inter-subject variations in appearance, and partly by a latent subject-dependent bias. To improve estimation accuracy, we propose to use dilated-convolutions in a deep convolutional neural network to capture subtle changes in the eye images, and a novel gaze decomposition method that decomposes the gaze angle into the sum of a subject-independent gaze estimate from the image and a subject-dependent bias. To further reduce estimation error, we propose a calibration method that estimates the bias from a few images taken as the subject gazes at only a few or even just a single gaze target. This significantly redues calibration time and complexity. Experiments on four datasets, including a new dataset we collected containing large variations in head pose and face location, indicate that even without calibration the estimator already outperforms state-of-the-art methods by more than 6.3%. The proposed calibration method is robust to the location of calibration target and reduces estimation error significantly (up to 35.6%), achieving state-of-the-art performance with much less calibration data than required by previously proposed methods.

研究动机与目标

• 解决基于RGB的眼球追踪中受试者间差异大、受试者内差异小的外观变化挑战。
• 通过仅使用一两张目标图像估计与受试者相关的偏差，显著减少校准时间和复杂度。
• 通过将眼球追踪建模为与受试者无关和与受试者相关分量之和，提升估计准确度。
• 在远少于现有方法所需的校准数据下，实现最先进水平的性能。

提出的方法

• 在深度卷积神经网络中使用空洞卷积，以捕捉在不同头部姿态和面部外观下眼部图像中的细微空间变化。
• 引入眼球追踪分解机制，将眼球角度分解为来自图像特征的与受试者无关分量和与受试者相关的偏差。
• 设计一种校准方法，仅使用一两张校准图像（受试者注视目标时拍摄）来估计与受试者相关的偏差。
• 使用最小化预测眼球角度与真实眼球角度之间误差的损失函数，端到端训练网络。
• 使用一个包含大范围头部姿态和面部位置变化的新数据集，评估模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 空洞卷积是否能通过捕捉眼部外观的细微细节来提升眼球追踪准确度？
• RQ2 将眼球追踪分解为与受试者无关和与受试者相关分量，是否能提升跨受试者的泛化能力？
• RQ3 是否能仅使用一两张图像就显著简化校准过程，而不会牺牲准确度？
• RQ4 与最先进方法相比，该方法在准确度和校准效率方面表现如何？

主要发现

• 即使在无校准情况下，GEDDnet 的眼球追踪准确度也比最先进方法高出6.3%以上。
• 所提出的校准方法相比基线方法，将估计误差降低了高达35.6%。
• 该方法在显著少于以往方法所需的校准数据下，实现了最先进水平的性能。
• 模型对校准目标位置变化表现出鲁棒性，增强了实际可用性。
• 在四个数据集（包括一个新采集的、包含大范围头部姿态和面部位置变化的数据集）上的实验，证实了该方法的泛化能力和鲁棒性。