[论文解读] Generate To Adapt: Aligning Domains using Generative Adversarial Networks

Swami Sankaranarayanan, Yogesh Balaji+2 more|arXiv (Cornell University)|Apr 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 34被引用 27

一句话总结

本文提出了一种基于 GAN 的域自适应方法，通过协同训练特征编码器与生成对抗网络，在共生关系下对齐源域和目标域的分布。与以往利用 GAN 进行数据生成和重新训练的方法不同，该方法直接利用 GAN 优化特征空间，实现在手写数字分类、目标识别（OFFICE）以及合成到真实域自适应等多样化任务中的最先进性能。

ABSTRACT

Domain Adaptation is an actively researched problem in Computer Vision. In this work, we propose an approach that leverages unsupervised data to bring the source and target distributions closer in a learned joint feature space. We accomplish this by inducing a symbiotic relationship between the learned embedding and a generative adversarial network. This is in contrast to methods which use the adversarial framework for realistic data generation and retraining deep models with such data. We demonstrate the strength and generality of our approach by performing experiments on three different tasks with varying levels of difficulty: (1) Digit classification (MNIST, SVHN and USPS datasets) (2) Object recognition using OFFICE dataset and (3) Domain adaptation from synthetic to real data. Our method achieves state-of-the art performance in most experimental settings and by far the only GAN-based method that has been shown to work well across different datasets such as OFFICE and DIGITS.

研究动机与目标

• 解决计算机视觉中因源域与目标域数据分布不同而导致的域偏移问题。
• 克服现有域自适应方法依赖数据生成与重新训练而非直接对齐特征空间的局限性。
• 构建一个统一框架，利用生成对抗网络并非用于数据合成，而是用于提升特征表示对齐。
• 在包括合成到真实域自适应和跨数据集场景在内的多样化且具有挑战性的域自适应基准上实现最先进性能。

提出的方法

• 提出一种共生训练框架，使深层特征编码器与生成对抗网络共同演化，以在共享嵌入空间中对齐源域与目标域的特征。
• 训练生成器将源域特征映射为类似目标域的特征，同时判别器区分真实目标特征与生成特征。
• 使用对抗损失，促使生成器在潜在空间中生成与目标域特征难以区分的特征。
• 通过域判别器优化特征编码器，以最小化真实源特征与生成的目标域特征之间的域差异。
• 联合训练编码器与 GAN，采用结合分类损失、对抗损失与域对齐项的多目标损失函数。
• 避免数据生成与重新训练；相反，直接利用 GAN 优化特征表示，实现端到端的域自适应。

实验结果

研究问题

• RQ1 能否有效利用生成对抗网络在不生成合成训练数据的情况下对齐源域与目标域的特征分布？
• RQ2 与传统的基于 GAN 的数据增强方法相比，GAN 与特征编码器的共生训练在域自适应中表现如何？
• RQ3 所提出的方法是否能在包括跨数据集手写数字识别与合成到真实域自适应在内的多样化域偏移场景中实现泛化？
• RQ4 该方法是否能在不依赖数据生成的前提下，于标准基准如 OFFICE 与 DIGITS 上实现最先进性能？

主要发现

• 所提方法在使用 MNIST、SVHN 与 USPS 数据集的手写数字分类任务中实现了最先进性能。
• 在 OFFICE 数据集上的目标识别任务中，其性能优于现有基于 GAN 的方法，展现出在域偏移场景下的强大泛化能力。
• 在合成到真实域自适应任务中，该方法取得了最佳性能，尤其在域间差异较大的情况下表现突出。
• 它是唯一在包括 OFFICE 与 DIGITS 在内的多样化数据集上均表现有效的基于 GAN 的方法，表明其具有广泛的适用性。