[论文解读] Discriminative Adversarial Domain Adaptation

Hui Tang, Kui Jia|arXiv (Cornell University)|Nov 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 70被引用 5

一句话总结

本文提出了一种新型对抗性学习方法——判别性对抗域自适应（DADA），通过集成分类器在类别和域预测之间强制实现相互抑制关系，从而实现跨域特征与标签的显式联合分布对齐。DADA在基准数据集上的封闭集、部分和开放集域自适应任务中均取得了最先进性能。

ABSTRACT

Given labeled instances on a source domain and unlabeled ones on a target domain, unsupervised domain adaptation aims to learn a task classifier that can well classify target instances. Recent advances rely on domain-adversarial training of deep networks to learn domain-invariant features. However, due to an issue of mode collapse induced by the separate design of task and domain classifiers, these methods are limited in aligning the joint distributions of feature and category across domains. To overcome it, we propose a novel adversarial learning method termed Discriminative Adversarial Domain Adaptation (DADA). Based on an integrated category and domain classifier, DADA has a novel adversarial objective that encourages a mutually inhibitory relation between category and domain predictions for any input instance. We show that under practical conditions, it defines a minimax game that can promote the joint distribution alignment. Except for the traditional closed set domain adaptation, we also extend DADA for extremely challenging problem settings of partial and open set domain adaptation. Experiments show the efficacy of our proposed methods and we achieve the new state of the art for all the three settings on benchmark datasets.

研究动机与目标

• 解决现有域自适应方法因模式崩溃而无法对齐跨域特征与标签联合分布的局限性。
• 克服将任务分类器与域分类器分开设计所导致的有效域不变表示学习受限的问题。
• 提出一种统一的对抗性框架，以促进在特征和类别两个层面的联合分布对齐。
• 将方法扩展至部分域自适应和开放集域自适应等挑战性场景，其中标签空间并非完全重叠。
• 在三种自适应设置——封闭集、部分和开放集域自适应中均实现最先进性能。

提出的方法

• 提出一种集成的类别与域分类器，对每个输入实例同时预测类别和域。
• 设计一种新型对抗目标，强制对每个输入实例的类别预测与域预测之间实现相互抑制关系。
• 将训练形式化为极小化极大博弈，其中判别器被训练以区分域，而特征提取器则被优化以迷惑判别器，从而促进域不变特征的学习。
• 在DADA-P中引入类别级别的加权机制，以减轻部分域自适应中源域异常样本的负面影响。
• 通过在共享标签空间中平衡联合分布对齐与未知目标类别分类，开发DADA-O以实现开放集自适应。
• 采用交替训练方案，先在有标签的源数据上进行分类训练，再在源域和目标域数据上进行对抗训练，通过仔细调整超参数以保持模型稳定性。

实验结果

研究问题

• RQ1 具有类别与域预测之间相互抑制的统一分类器是否能提升域自适应中的联合分布对齐？
• RQ2 在封闭集域自适应中，所提出的DADA方法相较于现有最先进方法表现如何？
• RQ3 DADA框架能否有效扩展至部分域自适应场景，其中目标标签空间是源标签空间的子集？
• RQ4 DADA能否适应开放集域自适应场景，其中源标签空间是目标标签空间的子集？
• RQ5 何种训练方案能确保所提出的对抗目标在实践中具备稳定性和有效性？

主要发现

• DADA在多个基准数据集上，于三种自适应设置——封闭集、部分和开放集——中均取得了最先进性能。
• 在Office-31数据集上，DADA在Amazon→Dslr设置中达到82.7%的准确率，超越了先前的最先进方法。
• 在Syn2Real基准上，DADA在Real→Syn设置中达到83.9%的准确率，展现出对域偏移的强大泛化能力。
• 在开放集自适应中，DADA-O在Office-31数据集上使用0.1的加权系数时达到94.4%的准确率，表现出对未知类别的强鲁棒性。
• 消融实验表明，在训练过程中保持条件ps/ys > 0.5至关重要，且所提出的训练方案能有效维持该条件。
• 训练动态显示，对抗性训练持续降低了目标数据上的测试误差，且性能提升与满足关键条件的失败率降低呈正相关。