[论文解读] Contrastive Adaptation Network for Unsupervised Domain Adaptation

Guoliang Kang, Lu Jiang+2 more|arXiv (Cornell University)|Jan 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用 102

一句话总结

CAN 引入一种对类别有感知的对比性差异（CDD）用于无监督领域适应，并通过学习更具判别力的、类内紧凑且类间可分的特征，在 Office-31 上取得了 state-of-the-art 的结果，在 VisDA-2017 上也表现出竞争力。

ABSTRACT

Unsupervised Domain Adaptation (UDA) makes predictions for the target domain data while manual annotations are only available in the source domain. Previous methods minimize the domain discrepancy neglecting the class information, which may lead to misalignment and poor generalization performance. To address this issue, this paper proposes Contrastive Adaptation Network (CAN) optimizing a new metric which explicitly models the intra-class domain discrepancy and the inter-class domain discrepancy. We design an alternating update strategy for training CAN in an end-to-end manner. Experiments on two real-world benchmarks Office-31 and VisDA-2017 demonstrate that CAN performs favorably against the state-of-the-art methods and produces more discriminative features.

研究动机与目标

• 促使无监督域适应利用类别信息，而不仅仅是域对齐。
• 提出一种新的 Contrastive Domain Discrepancy (CDD)，在最小化类内域差异的同时最大化类间域差异。
• 开发一个端到端的训练框架（CAN），其通过交替估计目标标签和特征适应。
• 证明类别感知对齐能够获得更具判别力的特征，并在基准数据集上实现更好的泛化。

提出的方法

• 定义 Contrastive Domain Discrepancy (CDD)，用于衡量类内与类间的域差异。
• 使用基于 MMD 的公式最小化类内差异并最大化类间差异。
• 将 CDD 嵌入深度网络，作为一个作用于任务特定的 FC 层的损失项，权重为 β（Eq. 8）。
• 通过交替优化训练 CAN：通过球面 K-means 聚类目标标签，然后回传以使用 CDD（Eq. 6, 3.2）来适应特征。
• 使用类别感知采样（CAS），确保小批量在每个类别中包含多个域，从而实现可靠的 CDD 估计。
• 通过聚类过程舍弃模糊的目标数据/类别并逐步纳入更多类别，采用渐进学习。

实验结果

研究问题

• RQ1 通过 Contrastive Domain Discrepancy 融入类别信息，是否比仅使用类别无关的方法能提升无监督域适应？
• RQ2 相对于最新方法，CAN 能否在标准 UDA 基准（Office-31, VisDA-2017）获得更优异的表现？
• RQ3 类内紧凑性和类间可分性如何促进目标域的判别性和泛化？
• RQ4 交替优化和类别感知采样在 CAN 的有效性中起到什么作用？

主要发现

• 在 Office-31 上，ResNet-50（CAN）的平均准确率达到 90.6%，相较于仅类内对齐的 89.5%，且高于竞争方法。
• 在 VisDA-2017（验证集）使用 ResNet-101，CAN 达到 87.2% 的均值准确率，超过若干基线，在测试集上也具有竞争力（单模型为 87.4%）。
• 类别感知对齐（CDD）在性能上优于纯类内对齐，表明最大化类间域差异有助于泛化。
• 消融研究表明，交替优化（AO）和类别感知采样（CAS）均提升性能，CAN 超越了缺少这些组件的变体。
• 可视化（t-SNE）表明，CAN 相对于 JAN 可实现更高的类内紧凑性和更大的类间边距。
• CAN 在 Office-31 上取得了最优的公开结果，在 VisDA-2017 上也非常具有竞争力，说明了有效的类别感知域适应。