[论文解读] GazeGAN - Unpaired Adversarial Image Generation for Gaze Estimation

Matan Sela, Pingmei Xu+3 more|arXiv (Cornell University)|Nov 27, 2017

Gaze Tracking and Assistive Technology参考文献 37被引用 9

一句话总结

GazeGAN 提出了一种新颖的无配对对抗性图像到图像转换框架，通过结合仿真模拟与真实、未标注的面部数据，合成高分辨率、逼真且多样化的眼部区域图像，并附带精确的二维注视标注。该方法在无需收集真实用户数据的情况下，实现了移动设备上的最先进注视估计性能，同时提升了对姿态、模糊和跨设备泛化能力的鲁棒性。

ABSTRACT

Recent research has demonstrated the ability to estimate gaze on mobile devices by performing inference on the image from the phone's front-facing camera, and without requiring specialized hardware. While this offers wide potential applications such as in human-computer interaction, medical diagnosis and accessibility (e.g., hands free gaze as input for patients with motor disorders), current methods are limited as they rely on collecting data from real users, which is a tedious and expensive process that is hard to scale across devices. There have been some attempts to synthesize eye region data using 3D models that can simulate various head poses and camera settings, however these lack in realism. In this paper, we improve upon a recently suggested method, and propose a generative adversarial framework to generate a large dataset of high resolution colorful images with high diversity (e.g., in subjects, head pose, camera settings) and realism, while simultaneously preserving the accuracy of gaze labels. The proposed approach operates on extended regions of the eye, and even completes missing parts of the image. Using this rich synthesized dataset, and without using any additional training data from real users, we demonstrate improvements over state-of-the-art for estimating 2D gaze position on mobile devices. We further demonstrate cross-device generalization of model performance, as well as improved robustness to diverse head pose, blur and distance.

研究动机与目标

• 解决为注视估计收集大规模、多样化且逼真眼部图像数据集的挑战，该过程依赖真实用户时成本高昂且耗时。
• 克服先前基于 GAN 的仿真数据生成方法因模式崩溃和低分辨率导致的真实感与多样性不足的局限性。
• 在保留精确注视方向标注的同时，实现从仿真到真实感眼部图像的高保真、高分辨率图像转换。
• 在无需额外真实世界训练数据的情况下，提升注视估计模型在不同头部姿态、模糊和设备类型下的泛化能力和鲁棒性。

提出的方法

• 利用 3D 眼部区域模拟器生成具有受控参数（姿态、光照、注视方向）的仿真眼部图像，确保精确的注视标注。
• 从未标注的真实面部图像中提取逼真的皮肤纹理，以增强仿真眼部区域的视觉多样性和真实感。
• 采用 Park 等人（2019）提出的无配对图像到图像转换框架，结合循环一致性 GAN，并通过预训练的注视估计器引入一种新颖的注视保持约束。
• 引入一种循环一致性损失，其中包含一个注视预测头作为感知约束，确保转换后的图像保留原始注视方向。
• 使用精炼网络将低分辨率仿真图像映射为高分辨率、逼真的输出，同时补全缺失图像区域（例如被遮挡的上眼睑）。
• 使用 Adam 优化器训练生成器和判别器，采用特定超参数（如 β₁ = 0.1, β₂ = 0.99），并在网络架构中应用实例归一化和 Leaky ReLU 激活函数。

实验结果

研究问题

• RQ1 基于 GAN 的框架是否能在无需配对真实-仿真数据的情况下，生成高分辨率、逼真且带有精确 2D 注视标注的眼部图像？
• RQ2 与先前方法相比，带有注视保持约束的循环一致性 GAN 在多大程度上提升了仿真眼部图像的真实感与多样性？
• RQ3 在仅使用 GazeGAN 生成的数据上训练的注视估计器，是否能在无需任何真实用户数据的情况下实现在移动设备上的最先进性能？
• RQ4 在 GazeGAN 数据上训练的注视估计模型对头部姿态、模糊和设备特定特征变化的鲁棒性如何？

主要发现

• 所提出的 GazeGAN 框架成功生成了高分辨率（例如 256×256）、彩色且逼真的眼部区域图像，并带有精确的 2D 注视标注。
• 仅在 GazeGAN 合成数据上训练的注视估计模型在移动设备上优于最先进方法，在 MPIIGaze 基准测试中实现 1.25° 的平均误差。
• 该模型在不同设备间表现出良好的泛化能力，即使在模糊和大头部姿态变化等挑战性条件下仍保持高精度。
• 该框架对域偏移表现出鲁棒性，在跨设备评估中性能提升，表明其具备强大的泛化能力。
• 该方法能够补全合成输入中的缺失图像区域（例如被遮挡的眼睑），提升了视觉合理性与训练数据质量。
• 将预训练的注视估计器作为感知约束，显著提升了生成图像的保真度，同时保持了注视精度。