[论文解读] A Generalized and Robust Method Towards Practical Gaze Estimation on Smart Phone

Tianchu Guo, Yongchao Liu+6 more|arXiv (Cornell University)|Oct 16, 2019

Gaze Tracking and Assistive Technology参考文献 31被引用 4

一句话总结

本文提出了一种容错且高效（Tolerant and Talented, TAT）的训练方案，以及一种带序数损失的扰动方法（Disturbance with Ordinal loss, DwO），以解决智能手机上眼球追踪的过拟合与抖动问题。TAT 通过迭代知识蒸馏、余弦相似度剪枝和对齐正交初始化，减少过拟合并提升泛化能力；DwO 则通过带序数损失的对抗训练增强模型鲁棒性。该方法在 GazeCapture 数据集上达到最先进性能，并在新的鲁棒性基准上显著降低了预测抖动。

ABSTRACT

Gaze estimation for ordinary smart phone, e.g. estimating where the user is looking at on the phone screen, can be applied in various applications. However, the widely used appearance-based CNN methods still have two issues for practical adoption. First, due to the limited dataset, gaze estimation is very likely to suffer from over-fitting, leading to poor accuracy at run time. Second, the current methods are usually not robust, i.e. their prediction results having notable jitters even when the user is performing gaze fixation, which degrades user experience greatly. For the first issue, we propose a new tolerant and talented (TAT) training scheme, which is an iterative random knowledge distillation framework enhanced with cosine similarity pruning and aligned orthogonal initialization. The knowledge distillation is a tolerant teaching process providing diverse and informative supervision. The enhanced pruning and initialization is a talented learning process prompting the network to escape from the local minima and re-born from a better start. For the second issue, we define a new metric to measure the robustness of gaze estimator, and propose an adversarial training based Disturbance with Ordinal loss (DwO) method to improve it. The experimental results show that our TAT method achieves state-of-the-art performance on GazeCapture dataset, and that our DwO method improves the robustness while keeping comparable accuracy.

研究动机与目标

• 解决因过拟合导致的智能手机眼球追踪在训练与测试之间性能差距的问题。
• 降低眼球固定期间的预测抖动，以改善实时应用中的用户体验。
• 构建新的度量标准与数据集，以定量评估眼球追踪器的鲁棒性。
• 通过新颖的训练方案提升泛化能力与鲁棒性，同时不牺牲准确性。
• 实现眼球追踪在消费级智能手机上的实际部署。

提出的方法

• 提出一种迭代随机知识蒸馏框架，作为容错教学过程，利用从随机选择的教师网络中获得的多样化且信息丰富的监督信号。
• 引入余弦相似度剪枝，以去除冗余且低效的权重，提升模型效率与泛化能力。
• 提出对齐正交初始化（Aligned Orthogonal Initialization, AOI），将权重重新初始化为彼此正交且与原始分布对齐，从而实现更优的优化重启。
• 设计一种新的鲁棒性度量（MSD），并收集一个新的数据集（GazeStare），用于评估抖动与鲁棒性。
• 提出带序数损失的扰动方法（DwO），一种定制化的对抗训练方法，通过向序数损失区间施加扰动以提升鲁棒性。
• 采用基于 PGD 的对抗训练，控制扰动强度与数据保留率（Org.%），并通过超参数搜索进行调优。

实验结果

研究问题

• RQ1 是否可通过结合剪枝与重新初始化的迭代知识蒸馏框架，有效降低在有限数据集上的眼球追踪过拟合？
• RQ2 余弦相似度剪枝与对齐正交初始化是否能提升眼球追踪中模型的泛化能力与收敛性？
• RQ3 新的度量标准与数据集是否能有效量化并评估真实环境下眼球预测的抖动？
• RQ4 基于序数损失的对抗训练（DwO）是否能显著降低抖动，同时保持高准确性？
• RQ5 所提出的 TAT 与 DwO 方法是否能在 GazeCapture 与 GazeStare 等基准数据集上实现最先进性能？

主要发现

• TAT 训练方案在 GazeCapture 数据集上实现了最先进性能，优于现有方法。
• DwO 方法将均方偏差（MSD）降低了 19.2%，同时保持了相近的准确性（误差为 1.20 cm 对比基线的 1.15 cm）。
• 在 DwO 中使用 T=1 与 Org.%=90% 时，鲁棒性与准确性达到最佳平衡，将 MSD 从 0.42 cm 降低至 0.36 cm。
• 所提出的对齐正交初始化方法使权重分布更加稳定，其 L2 范数与剪枝后权重的 L2 范数高度一致，有效防止网络坍塌。
• 采用 DwO 训练的模型在注视期间预测点的抖动显著减少，如图 1(b) 所示，预测点更集中于真实 gaze 点附近。
• 序数损失中的中心区间数量至关重要：8 个区间可实现最优性能，兼顾扰动有效性与模型稳定性。