[论文解读] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

Kuniaki Saito, Kohei Watanabe+2 more|arXiv (Cornell University)|Dec 7, 2017

Domain Adaptation and Few-Shot Learning参考文献 33被引用 143

一句话总结

本文提出一种用于无监督域自适应的判别式对抗方法，使用两个针对任务的分类器在目标样本上最大化分歧，而生成器最小化该差异以将目标特征与源支持对齐。

ABSTRACT

In this work, we present a method for unsupervised domain adaptation. Many adversarial learning methods train domain classifier networks to distinguish the features as either a source or target and train a feature generator network to mimic the discriminator. Two problems exist with these methods. First, the domain classifier only tries to distinguish the features as a source or target and thus does not consider task-specific decision boundaries between classes. Therefore, a trained generator can generate ambiguous features near class boundaries. Second, these methods aim to completely match the feature distributions between different domains, which is difficult because of each domain's characteristics. To solve these problems, we introduce a new approach that attempts to align distributions of source and target by utilizing the task-specific decision boundaries. We propose to maximize the discrepancy between two classifiers' outputs to detect target samples that are far from the support of the source. A feature generator learns to generate target features near the support to minimize the discrepancy. Our method outperforms other methods on several datasets of image classification and semantic segmentation. The codes are available at \url{https://github.com/mil-tokyo/MCD_DA}

研究动机与目标

• 阐述并解决基于域分类器的分布匹配在忽略任务特定决策边界方面的局限性。
• 提出一种新的对抗框架，利用针对任务的分类器作为判别器来检测超出源支持的目标样本。
• 开发一种训练过程，在目标数据上最大化分类器差异与通过特征生成来最小化差异之间交替进行。
• 在不使用领域标签的前提下，展示在图像分类和语义分割任务上的有效性。

提出的方法

• 使用特征生成器 G 和两个针对任务的分类器 F1 和 F2，它们从 G 的特征生成 K 类预测。
• 将目标样本 x_t 的差异定义为 d(p1(.|x_t), p2(.|x_t))，其中 d 是两个分类器概率输出的 L1 距离：d = (1/K) * sum_{k=1}^K |p1_k - p2_k|。
• 训练 F1 和 F2 在目标特征上最大化差异，同时仍然正确分类源数据（步骤 B）。
• 训练生成器 G 以最小化目标特征上的差异（步骤 C）。
• 步骤 A 通过联合训练 G、F1、F2 以最小化源分类损失来确保源数据的判别特征。
• 目标样本的差异损失为 |d(p1, p2)|，其中 p1、p2 分别是 F1、F2 的 softmax 输出。

实验结果

研究问题

• RQ1 是否可以利用任务特定的决策边界来提升无监督域自适应，超越分布匹配？
• RQ2 在目标数据上最大化两个分类器之间的分歧是否有助于识别超出源支持的样本并引导特征生成回到源分布？
• RQ3 基于差异的对抗训练对数字、交通标志、对象分类和语义分割任务的性能有何影响？

主要发现

• 所提出的方法在多个数据集上优于多种分布匹配基线（如 MMD、DANN、DSN、ADDA、CoGAN、PixelDA）。
• 增大超参数 n（每步的生成器更新次数）可提升性能，尤其在域迁移较大时。
• 目标数据上两个分类器之间的分歧在判别器步骤达到峰值，随着生成器降低差异而下降，与更高的目标准确度相关。
• 可视化显示适应后目标样本更具判别性，目标特征与源类别结构对齐，而非完全匹配分布。
• 该方法在 VisDA 分类、数字、交通标志以及 GTA5 到 Cityscapes 的语义分割任务中取得显著结果。