[论文解读] Learning from a Complementary-label Source Domain: Theory and Algorithms

Yiyang Zhang, Feng Liu+4 more|arXiv (Cornell University)|Aug 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 75被引用 9

一句话总结

本文提出 CLARINET，一种新颖的一阶段对抗性深度学习框架，用于使用互补标签源数据（即每个样本被标记为不属于的类别）而非昂贵的真实标签，实现无监督域适应。CLARINET 联合优化互补标签分类与域不变表示学习，在手写数字和物体识别任务上达到最先进性能，显著优于依赖真实标签的基线方法。

ABSTRACT

In unsupervised domain adaptation (UDA), a classifier for the target domain is trained with massive true-label data from the source domain and unlabeled data from the target domain. However, collecting fully-true-label data in the source domain is high-cost and sometimes impossible. Compared to the true labels, a complementary label specifies a class that a pattern does not belong to, hence collecting complementary labels would be less laborious than collecting true labels. Thus, in this paper, we propose a novel setting that the source domain is composed of complementary-label data, and a theoretical bound for it is first proved. We consider two cases of this setting, one is that the source domain only contains complementary-label data (completely complementary unsupervised domain adaptation, CC-UDA), and the other is that the source domain has plenty of complementary-label data and a small amount of true-label data (partly complementary unsupervised domain adaptation, PC-UDA). To this end, a complementary label adversarial network} (CLARINET) is proposed to solve CC-UDA and PC-UDA problems. CLARINET maintains two deep networks simultaneously, where one focuses on classifying complementary-label source data and the other takes care of source-to-target distributional adaptation. Experiments show that CLARINET significantly outperforms a series of competent baselines on handwritten-digits-recognition and objects-recognition tasks.

研究动机与目标

• 为解决无监督域适应（UDA）中收集完全真实标签数据的高昂成本，提出一种使用互补标签源数据的新设置。
• 形式化并分析两种新的 UDA 场景：完全互补 UDA（CC-UDA），即源域中仅提供互补标签；部分互补 UDA（PC-UDA），即源域中同时存在互补标签和少量真实标签。
• 开发一种统一的一阶段深度学习框架 CLARINET，可直接处理互补标签源数据，无需事先进行标签校正或依赖真实标签。
• 通过证明从互补标签学习的泛化界，为所提设置提供理论支持。

提出的方法

• CLARINET 使用两个深度神经网络：一个用于互补标签分类，另一个通过对抗训练实现域不变表示学习。
• 采用条件对抗判别器，利用特征和类别预测联合建模多模态数据分布，提升域对齐效果。
• 在神经网络输出的 logits 上应用锐化函数，以增强预测置信度，这对有效进行互补标签学习至关重要。
• 使用联合损失函数进行端到端训练：包括互补标签交叉熵损失和域对抗损失，以对齐源域与目标域的特征。
• 该框架支持多种域适应任务，包括 C→T、U→M、M→U、S→M、Y→M、Y→S 和 M→m，且根据任务调整网络架构。
• 该方法避免了先进行标签校正再执行 UDA 的两阶段过程，实现了从互补标签源数据到无标签目标数据的直接高效知识迁移。

实验结果

研究问题

• RQ1 深度学习模型能否在无监督域适应中有效从互补标签源数据中学习，而非依赖真实标签？
• RQ2 当真实标签源数据减少时，域适应性能如何退化？互补标签能否缓解此问题？
• RQ3 像 CLARINET 这样的一阶段对抗框架能否优于先校正互补标签再应用标准 UDA 的两阶段方法？
• RQ4 条件对抗训练和锐化函数在提升互补标签学习的适应性能方面有何贡献？
• RQ5 所提出的互补标签学习在域适应中的理论泛化界在多种域适应任务中是否具有实际有效性？

主要发现

• 在七个基于互补标签的 UDA 任务中，包括手写数字和物体识别基准，CLARINET 显著优于所有竞争基线方法。
• 仅使用互补标签数据进行训练的 CLARINET 在目标域上的准确率，超过在已校正标签上应用标准 UDA 方法的性能。
• 实验表明，随着源域中真实标签数据量的增加，CLARINET 的性能持续提升，证实了在 PC-UDA 中结合两种标签类型的优越性。
• 消融实验确认，条件对抗训练和锐化函数是关键组件，移除任一都会导致性能显著下降。
• C w/ L_CE 基线（即直接将标准 UDA 应用于互补标签）的性能甚至低于随机分类，证明标准 UDA 方法无法直接处理互补标签数据。
• 所提出的互补标签学习在域适应中的理论泛化界已通过实证验证，支持了新设置的可行性。