[论文解读] Appearance-Based Gaze Estimation via Gaze Decomposition and Single Gaze Point Calibration.

Zhaokang Chen, Bertram E. Shi|arXiv (Cornell University)|May 11, 2019

Gaze Tracking and Assistive Technology参考文献 43被引用 6

一句话总结

本文提出了一种新颖的基于外观的注视估计方法，该方法将注视角度分解为与个体相关的偏差分量和与个体无关的差异分量，并使用深度卷积神经网络（CNN）估计后者。通过单点校准，该方法将误差降低了最多35.6%，并实现了最先进（SOTA）的性能，在三个数据集上相比无校准方法的误差降低了最多10.0%。

ABSTRACT

Appearance-based gaze estimation provides relatively unconstrained gaze tracking. However, subject-indepen\-dent models achieve limited accuracy partly due to individual variations. To improve estimation, we propose a novel gaze decomposition method and a single gaze point calibration method, motivated by our finding that the inter-subject squared bias exceeds the intra-subject variance for a subject-independent estimator. We decompose the gaze angle into a subject-dependent bias term and a subject-independent difference term between the gaze angle and the bias. The difference term is estimated by a deep convolutional network. For calibration-free tracking, we set the subject-dependent bias term to zero. For single gaze point calibration, we estimate the bias from a few images taken as the subject gazes at a point. Experiments on three datasets indicate that as a calibration-free estimator, the proposed method outperforms the state-of-the-art methods that use single model by up to $10.0\%$. The proposed calibration method is robust and reduces estimation error significantly (up to $35.6\%$), achieving state-of-the-art performance for appearance-based eye trackers with calibration.

研究动机与目标

• 解决由于个体眼部外观和注视模式差异导致的无个体依赖注视估计精度有限的问题。
• 克服在无个体依赖估计器中，个体间平方偏差超过个体内方差的挑战。
• 开发一种无需个体校准的无校准注视估计方法，同时保持高精度。
• 引入一种鲁棒的单注视点校准技术，显著降低估计误差。
• 在仅使用极少校准数据的前提下，实现基于外观的注视跟踪的最先进性能。

提出的方法

• 将注视角度分解为与个体相关的偏差项和与个体无关的差异项，其中差异项表示与偏差的偏离程度。
• 训练一个深度卷积神经网络，从眼部图像外观中估计与个体无关的差异项。
• 对于无校准跟踪，将与个体相关的偏差项设为零，仅依赖CNN估计的差异项。
• 对于单点校准，仅通过少量个体注视单一目标点的图像来估计与个体相关的偏差。
• 利用估计的偏差校正网络输出，从而降低整体估计误差。
• 利用该分解方法将个体特异性偏差与通用注视模式解耦，实现高效校准并提升泛化能力。

实验结果

研究问题

• RQ1 通过显式建模基于外观的注视估计中的个体相关偏差，能否提升估计精度？
• RQ2 将注视角度分解为偏差与差异分量，是否能提升跨个体的泛化能力？
• RQ3 与无校准方法相比，单注视点校准方法在降低估计误差方面的有效性如何？
• RQ4 深度CNN能否仅从眼部图像中有效估计与个体无关的差异项？
• RQ5 与现有最先进无校准及已校准注视估计系统相比，所提方法的性能增益如何？

主要发现

• 所提出的无校准方法在三个数据集上的估计精度相比最先进无校准方法最高提升10.0%。
• 单注视点校准将估计误差降低了最多35.6%，显著优于无校准基线方法。
• 该方法在仅使用极少校准数据的情况下，实现了基于外观的注视跟踪的最先进性能。
• 个体间平方偏差超过个体内方差，验证了在无个体依赖估计中引入个体相关偏差建模的必要性。
• 注视分解框架使得仅需每个个体一个校准点即可实现鲁棒性能，证明了极高的校准效率。