[论文解读] Clarinet: A One-step Approach Towards Budget-friendly Unsupervised Domain Adaptation

Yiyang Zhang, Feng Liu+4 more|arXiv (Cornell University)|Jul 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 5

一句话总结

本文提出 CLARINET，一种面向低成本无监督域自适应（BFUDA）的一阶段深度学习框架，其中分类器在互补标签源数据和无标签目标数据上进行训练，而非昂贵的真实标签源数据。通过引入一种新颖的映射函数，联合优化互补标签损失与域对抗性自适应，CLARINET 在六个 BFUDA 基准上达到最先进性能，显著优于两阶段基线方法和标准无监督域自适应（UDA）方法。

ABSTRACT

In unsupervised domain adaptation (UDA), classifiers for the target domain are trained with massive true-label data from the source domain and unlabeled data from the target domain. However, it may be difficult to collect fully-true-label data in a source domain given a limited budget. To mitigate this problem, we consider a novel problem setting where the classifier for the target domain has to be trained with complementary-label data from the source domain and unlabeled data from the target domain named budget-friendly UDA (BFUDA). The key benefit is that it is much less costly to collect complementary-label source data (required by BFUDA) than collecting the true-label source data (required by ordinary UDA). To this end, the complementary label adversarial network (CLARINET) is proposed to solve the BFUDA problem. CLARINET maintains two deep networks simultaneously, where one focuses on classifying complementary-label source data and the other takes care of the source-to-target distributional adaptation. Experiments show that CLARINET significantly outperforms a series of competent baselines.

研究动机与目标

• 为解决无监督域自适应（UDA）中真实标签源数据的高昂标注成本问题，提出一种新型问题设定——低成本无监督域自适应（BFUDA），采用更便宜的互补标签数据。
• 开发一种一阶段方法，直接从互补标签源数据适应到无标签目标数据，避免两阶段方法中伪标签带来的误差累积。
• 设计一种深度神经网络架构，联合优化互补标签分类与域不变表示学习。
• 验证标准 UDA 方法无法有效处理 BFUDA，原因在于伪标签数据中的噪声，并证明所提出的端到端框架具有显著优势。

提出的方法

• CLARINET 采用双分支网络架构，包含共享特征提取器 G、分类器预测头 F 和条件域判别器 D，以学习域不变特征。
• 引入一种基于新颖映射函数 T 的互补标签损失，通过重新分配分类器输出，使其更贴近真实标签分布。
• 模型通过联合使用互补标签上的交叉熵损失与域对抗性损失进行端到端训练，以最小化域间差异。
• 映射函数 T 的设计可将分类器输出进行扩散，降低错误标签带来的偏差，从而在 BFUDA 设置下提升泛化能力。
• 训练采用 SGD 优化器，配合学习率调度与域对抗性权重调整，遵循 CDAN 和 DANN 的标准训练协议。
• 该框架在六个标准数据集的域自适应任务上进行评估，超参数设置与先前工作保持一致。

实验结果

研究问题

• RQ1 一阶段深度学习框架能否有效从互补标签源数据向无标签目标数据迁移知识，超越两阶段方法？
• RQ2 所提出的映射函数 T 是否能通过缓解互补标签带来的噪声，显著提升 BFUDA 下的自适应性能？
• RQ3 标准 UDA 方法（如 CDAN 或 DANN）能否直接应用于 BFUDA 任务，还是因伪标签噪声而失效？
• RQ4 与分阶段训练相比，CLARINET 联合优化互补标签学习与域自适应在收敛性和准确率方面表现如何？
• RQ5 映射函数 T 对多个 BFUDA 基准上模型稳定性与最终性能的影响如何？

主要发现

• CLARINET 在六个 BFUDA 任务上实现平均准确率 85.451%，显著高于次优基线方法 GAC+CDAN 的 82.426%。
• 两阶段基线方法 GAC+CDAN 在 M→U 和 M→m 任务上表现出不稳定性能，准确率在训练后期出现下降，表明对伪标签噪声鲁棒性差。
• 使用映射函数 T 的 CLARINET 在 U→M 任务上达到 84.499% 准确率，而无 T 的消融变体（C w/o T）仅达 82.112%，证明 T 的有效性。
• 消融研究显示，若将互补标签损失替换为标准交叉熵损失（C w/ L_CE），准确率出现显著下降，证实 UDA 方法无法直接处理 BFUDA。
• CLARINET 的准确率在所有任务上持续提升并稳定收敛，表现出稳定高效的训练过程，与两阶段方法常见的平台期或振荡行为形成鲜明对比。
• 所提框架成功实现从低成本互补标签数据到目标域的知识迁移，验证了 BFUDA 模式在可行性和优越性方面的有效性。