[论文解读] Appearance-based Gaze Estimation With Deep Learning: A Review and Benchmark

Yihua Cheng, Haofei Wang+2 more|arXiv (Cornell University)|Apr 26, 2021

Gaze Tracking and Assistive Technology参考文献 122被引用 67

一句话总结

一份全面的基于外观的注视估计方法的深度学习研究综述与基准测试，涵盖特征提取、网络设计、标定与设备，并配有标准化的评估流程。

ABSTRACT

Human gaze provides valuable information on human focus and intentions, making it a crucial area of research. Recently, deep learning has revolutionized appearance-based gaze estimation. However, due to the unique features of gaze estimation research, such as the unfair comparison between 2D gaze positions and 3D gaze vectors and the different pre-processing and post-processing methods, there is a lack of a definitive guideline for developing deep learning-based gaze estimation algorithms. In this paper, we present a systematic review of the appearance-based gaze estimation methods using deep learning. Firstly, we survey the existing gaze estimation algorithms along the typical gaze estimation pipeline: deep feature extraction, deep learning model design, personal calibration and platforms. Secondly, to fairly compare the performance of different approaches, we summarize the data pre-processing and post-processing methods, including face/eye detection, data rectification, 2D/3D gaze conversion and gaze origin conversion. Finally, we set up a comprehensive benchmark for deep learning-based gaze estimation. We characterize all the public datasets and provide the source code of typical gaze estimation algorithms. This paper serves not only as a reference to develop deep learning-based gaze estimation methods, but also a guideline for future gaze estimation research. The project web page can be found at https://phi-ai.buaa.edu.cn/Gazehub.

研究动机与目标

• 针对不同输入类型（眼部、脸部、视频）调查基于深度学习的外观式注视估计方法。
• 分析网络架构与监督方案（有监督、半监督/自监督/无监督、多任务、循环）。
• 评估数据预处理和后处理步骤及其对性能的影响。
• 提供一个公共代码和数据集的统一注视估计基准测试。
• 提供稳健的跨被试注视估计的指南与未来研究方向。

提出的方法

• 将输入特征分为眼睛图像、脸部图像和视频以进行特征提取综述。
• 讨论卷积神经网络架构与监督策略（有监督、半监督/自监督/无监督、多任务、循环）。
• 描述注视估计的标定方法及设备/平台方面的考量。
• 总结在基准测试中使用的数据预处理、后处理步骤与注视转换方法。
• 通过收集公共数据集并复现典型的注视估计代码来构建并实现一个公正的基准。

实验结果

研究问题

• RQ1 外观式注视估计的主要深度学习方法有哪些，它们在输入类型和架构上有何差异？
• RQ2 标定、被试变异性以及设备/平台选择如何影响注视估计性能？
• RQ3 在不同数据集间公平比较注视估计方法所必需的预处理和后处理步骤是什么？
• RQ4 当前的公开数据集和基线方法有哪些，在统一评估协议下它们的表现如何？

主要发现

• 与传统基于外观的方法相比，深度学习方法在头部运动和跨被试变异方面具有更强的鲁棒性。
• 使用双眼输入结合注意力融合或非对称回归可提升注视估计精度。
• 标定、数据增强和被试不变特征学习对跨被试性能至关重要。
• 通过收集公开数据集并重新实现典型的注视估计算法来构建基准，以实现公正比较。
• 论文在 phi-ai.org/GazeHub 提供实现的方法和数据处理代码以便复现。