[论文解读] Learning from Simulated and Unsupervised Images through Adversarial Training

Ashish Shrivastava, Tomas Pfister+4 more|arXiv (Cornell University)|Dec 22, 2016

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出通过SimGAN这一基于生成对抗网络（GAN）的方法，实现模拟+无监督（S+U）学习，利用未标注的真实图像对合成图像进行优化，以提升其真实感，同时保留语义标注。通过结合局部对抗损失、自正则化损失以及基于历史的判别器更新策略，该方法在无需任何真实数据标注的情况下，在眼动方向估计与手部姿态估计任务中达到了当前最优性能。

ABSTRACT

With recent progress in graphics, it has become more tractable to train models on synthetic images, potentially avoiding the need for expensive annotations. However, learning from synthetic images may not achieve the desired performance due to a gap between synthetic and real image distributions. To reduce this gap, we propose Simulated+Unsupervised (S+U) learning, where the task is to learn a model to improve the realism of a simulator's output using unlabeled real data, while preserving the annotation information from the simulator. We develop a method for S+U learning that uses an adversarial network similar to Generative Adversarial Networks (GANs), but with synthetic images as inputs instead of random vectors. We make several key modifications to the standard GAN algorithm to preserve annotations, avoid artifacts, and stabilize training: (i) a 'self-regularization' term, (ii) a local adversarial loss, and (iii) updating the discriminator using a history of refined images. We show that this enables generation of highly realistic images, which we demonstrate both qualitatively and with a user study. We quantitatively evaluate the generated images by training models for gaze estimation and hand pose estimation. We show a significant improvement over using synthetic images, and achieve state-of-the-art results on the MPIIGaze dataset without any labeled real data.

研究动机与目标

• 解决合成图像与真实图像分布之间的域差距，以改善模型泛化能力。
• 实现在无需昂贵人工标注真实图像的前提下，利用合成数据训练鲁棒的深度学习模型。
• 在图像优化过程中保持语义标注（如眼动方向、关键点位置）的完整性。
• 稳定GAN训练过程，防止在为下游任务优化合成图像时产生伪影。

提出的方法

• 训练一个优化网络，通过对抗训练将合成图像转换为更具真实感的版本。
• 在小图像块上应用局部对抗损失，相比全局图像级损失，能更有效地提升真实感并减少伪影。
• 引入自正则化损失，惩罚原始合成图像与优化后图像之间的大像素差异，以保护标注信息。
• 通过使用前一训练步骤中生成的优化图像的移动平均值来更新判别器，以稳定训练并防止模式崩溃。
• 采用改进的GAN目标函数，交替训练优化网络与判别器网络。
• 采用全卷积网络架构，以保持空间结构并避免全局失真。

实验结果

研究问题

• RQ1 对抗训练能否在保持语义标注完整性的前提下，有效提升合成图像的真实感？
• RQ2 与全局对抗损失相比，使用局部对抗损失在图像优化过程中是否能更有效地减少视觉伪影？
• RQ3 在判别器更新过程中保留优化图像的历史记录，是否能提升训练稳定性与图像质量？
• RQ4 在优化后的合成数据上训练的模型，是否能在不使用任何人工标注真实数据的情况下，超越在真实数据上训练的模型？
• RQ5 所提出方法在眼动方向估计与手部姿态估计等下游任务中的性能提升程度如何？

主要发现

• 在使用优化后的合成数据进行训练时，SimGAN方法在NYU测试集上实现了72.4%的5像素距离准确率，优于真实数据训练（74.5%）与原始合成数据训练（69.7%）。
• 当合成数据量为三倍时，优化后的合成数据在5像素距离准确率上达到83.3%，显著优于真实数据训练。
• 在判别器更新过程中引入优化图像历史后，眼动方向估计误差从12.2度（无历史）降低至7.8度（有历史）。
• 用户研究与定性评估结果表明，优化后的图像在感知上显著比原始合成图像更真实。
• 局部对抗损失有效消除了使用全局对抗损失优化图像时出现的深度边界伪影。
• 该方法在MPIIGaze数据集上实现了当前最优性能，且未使用任何标注的真实数据，充分证明了S+U学习的有效性。