[论文解读] Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation

Dongdong Chen, Yisen Wang+3 more|arXiv (Cornell University)|Jun 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 59被引用 4

一句话总结

本文提出了一种新型无监督域自适应方法 SDA-TCL，通过在统一特征空间中利用共享类别中心，联合优化语义域对齐与目标分类器学习。通过整合判别性中心损失与跨域共享类别中心，该方法在 Office-31 和 VisDA 基准测试中实现了最先进性能，展现出更快的收敛速度与更小的域差距。

ABSTRACT

Unsupervised domain adaptation aims to transfer the classifier learned from the source domain to the target domain in an unsupervised manner. With the help of target pseudo-labels, aligning class-level distributions and learning the classifier in the target domain are two widely used objectives. Existing methods often separately optimize these two individual objectives, which makes them suffer from the neglect of the other. However, optimizing these two aspects together is not trivial. To alleviate the above issues, we propose a novel method that jointly optimizes semantic domain alignment and target classifier learning in a holistic way. The joint optimization mechanism can not only eliminate their weaknesses but also complement their strengths. The theoretical analysis also verifies the favor of the joint optimization mechanism. Extensive experiments on benchmark datasets show that the proposed method yields the best performance in comparison with the state-of-the-art unsupervised domain adaptation methods.

研究动机与目标

• 解决现有无监督域自适应方法分别优化域对齐与分类器学习所导致的次优性能问题。
• 克服在不同空间中进行特征级对齐（语义域对齐）与标签级判别（目标分类器学习）联合优化的挑战。
• 开发一种整体优化机制，利用类内紧凑性与类间分离性，提升目标域上的泛化能力。
• 通过理论与实证验证联合优化机制，证明其优于解耦方法。

提出的方法

• 提出统一框架 SDA-TCL，通过跨域共享类别中心，在特征空间中联合优化语义域对齐与目标分类器学习。
• 引入判别性中心损失，使样本被拉向其预测伪标签的类别中心，同时被推离目标域中其他类别中心。
• 通过在源域与目标域之间共享同一类别的类别中心，实现语义域对齐，促进域间类别级紧凑性。
• 采用两阶段训练策略，通过超参数 $I_s$ 渐进式引入目标伪标签，提升训练稳定性。
• 采用平衡损失函数，通过超参数 $K$ 控制域对齐与分类器学习之间的权衡，确保对超参数选择的鲁棒性。
• 联合优化完全在特征空间中进行，避免在标签空间与特征空间中分别优化的复杂性。

实验结果

研究问题

• RQ1 如何在统一优化框架中有效结合语义域对齐与目标分类器学习，以实现无监督域自适应？
• RQ2 联合优化类内紧凑性与类间分离性对域泛化能力与收敛速度有何影响？
• RQ3 与解耦方法相比，联合优化机制在减小域差异与提升准确率方面表现如何？
• RQ4 在训练过程中，目标伪标签的最佳引入时机与权重策略为何，可最大化性能？
• RQ5 跨域共享类别中心能否作为有效桥梁，统一特征级与标签级优化目标？

主要发现

• 在 Office-31 数据集上，SDA-TCL 实现了 85.6% 的平均准确率，达到最先进水平，优于先前 SOTA 方法如 TCL-ours（84.3%）与 SDA-ours（85.0%）。
• 在 VisDA 基准测试中，SDA-TCL 在合成到真实域迁移设置下达到 81.9% 的准确率，显著优于次佳方法（81.5%）。
• 与 RevGrad 相比，SDA-TCL 展现出更快且更稳定的收敛速度，在 A→W 任务中训练过程中的误差率下降更迅速。
• 通过 $ ext{dist}_{ar{A}}$ 测量的域差距显著减小，表明 SDA-TCL 相较于基线方法实现了更有效的域对齐。
• 消融研究证实，SDA-TCL 优于 SDA-ours 与 TCL-ours，证明联合优化优于单一组件的优化。
• 该方法对超参数选择具有鲁棒性：在 $K$ 值范围（1 到 9）内性能保持稳定，表明对两个目标权重的控制具有高度稳定性。