[论文解读] Adversarial Representation Learning for Domain Adaptation.

Jian Shen, Yanru Qu+2 more|arXiv (Cornell University)|Jul 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用 29

一句话总结

该论文提出了一种新型领域自适应方法——Wasserstein距离引导表示学习（WDGRL），该方法利用领域判别器估计源域与目标域之间经验Wasserstein距离，并通过对抗性方式最小化该距离，以学习领域不变但具有判别性的特征。WDGRL通过利用Wasserstein距离的梯度稳定性和强泛化界优势，在情感分类和图像分类基准上实现了最先进性能。

ABSTRACT

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WDGRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

研究动机与目标

• 通过学习对预测具有判别性的领域不变表示来解决机器学习中的领域偏移问题。
• 通过利用Wasserstein距离相较于传统基于GAN的差异度量在理论上的优势，提升领域自适应中的泛化能力。
• 开发一种稳健的对抗性框架，联合优化特征提取与领域差异减少。
• 在标准领域自适应基准上，与现有最先进方法相比，展示出更优越的性能。

提出的方法

• WDGRL引入了一个领域判别器网络，用于估计源域与目标域特征分布之间的经验Wasserstein距离。
• 通过对抗性训练使特征提取器最小化估计的Wasserstein距离，从而促进领域不变性。
• 该方法将分类头与领域判别器相结合，联合优化特征的判别能力与领域不变性。
• 该框架受Wasserstein GAN启发，利用Kantorovich-Rubinstein对偶性，通过基于梯度的优化实现稳定训练。
• 理论分析表明，Wasserstein距离相比传统领域差异度量提供了更优的梯度流动和更紧的泛化界。
• 模型通过最小化极大目标端到端训练，以平衡领域混淆与分类准确率。

实验结果

研究问题

• RQ1 在领域自适应中，Wasserstein距离是否能提供比传统基于GAN的方法更稳定、更有效的领域差异估计？
• RQ2 使用Wasserstein距离进行对抗性训练是否能提升下游分类任务的泛化能力和性能？
• RQ3 在多种数据集上，WDGRL与当前最先进领域自适应方法相比，在准确率和鲁棒性方面表现如何？
• RQ4 Wasserstein距离的梯度特性对特征提取器的训练动态与收敛性有何影响？

主要发现

• WDGRL在常见情感分类和图像分类领域自适应基准上实现了最先进性能。
• 由于Wasserstein距离的有利梯度特性，所提出方法展现出更优的泛化能力。
• 实证结果表明，该方法在多个数据集上均一致优于现有领域不变表示学习方法。
• 与传统基于GAN的领域差异最小化相比，使用Wasserstein距离可实现更稳定的训练动态。
• 该方法在有效减少领域偏移的同时，保持了较高的预测准确率，如领域差异度量所示。
• 理论分析证实，WDGRL的泛化界比标准领域自适应框架更紧。