[论文解读] Less Confusion More Transferable: Minimum Class Confusion for Versatile Domain Adaptation.

Ying Jin, Ximei Wang+2 more|arXiv (Cornell University)|Dec 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用 3

一句话总结

本文提出最小类别混淆（MCC），一种非对抗性域自适应损失，通过减少目标预测中的成对类别混淆，使单一方法能够无需修改即可处理四种域自适应（DA）场景——闭集、部分集、多源和多目标DA。MCC在性能上超越了当前最先进（SOTA）方法，尤其在DomainNet上取得7.3%的准确率提升，并作为通用正则化器，显著提升多种DA框架的收敛速度与性能。

ABSTRACT

There are a variety of Domain Adaptation (DA) scenarios subject to label sets and domain configurations, including closed-set and partial-set DA, as well as multi-source and multi-target DA. It is notable that existing DA methods are generally designed only for a specific scenario, and may underperform for scenarios they are not tailored to. To this end, this paper studies Versatile Domain Adaptation (VDA), where one method can handle several different DA scenarios without any modification. Towards this goal, a more general inductive bias other than the domain alignment should be explored. We delve into a missing piece of existing methods: class confusion, the tendency that a classifier confuses the predictions between the correct and ambiguous classes for target examples, which is common in different DA scenarios. We uncover that reducing such pairwise class confusion leads to significant transfer gains. With this insight, we propose a general loss function: Minimum Class Confusion (MCC). It can be characterized as (1) a non-adversarial DA method without explicitly deploying domain alignment, enjoying faster convergence speed; (2) a versatile approach that can handle four existing scenarios: Closed-Set, Partial-Set, Multi-Source, and Multi-Target DA, outperforming the state-of-the-art methods in these scenarios, especially on one of the largest and hardest datasets to date (7.3% on DomainNet). Its versatility is further justified by two scenarios proposed in this paper: Multi-Source Partial DA and Multi-Target Partial DA. In addition, it can also be used as a general regularizer that is orthogonal and complementary to a variety of existing DA methods, accelerating convergence and pushing these readily competitive methods to stronger ones. Code is available at this https URL.

研究动机与目标

• 解决现有域自适应（DA）方法仅针对单一特定DA场景设计，导致在多样化配置下泛化能力差的问题。
• 识别类别混淆——即分类器在目标域中将正确类别与模糊类别错误预测——作为阻碍不同DA设置下迁移性能的关键被忽视因素。
• 开发一种统一且通用的域自适应方法，在无需架构或训练修改的情况下，适用于多种场景。
• 提出一种通用损失函数——最小类别混淆（MCC），通过减少类别之间的混淆，提升模型在多样化域偏移设置下的鲁棒性。
• 证明MCC可作为即插即用的正则化器，集成至现有DA方法中，从而提升其在多种基准测试中的收敛速度与性能。

提出的方法

• 提出最小类别混淆（MCC），一种非对抗性损失函数，通过最小化目标样本的预测类别概率与真实类别概率之间的成对混淆来优化。
• 将MCC形式化为类似对比学习的目标函数，促使正确类别预测相对于模糊或错误类别更具置信度。
• 设计MCC独立于域对齐机制，从而相比对抗性DA方法实现更快的收敛速度。
• 将MCC集成至标准分类头中，无需引入域判别器网络或特定域的自适应模块。
• 在四种标准DA场景中应用MCC：闭集、部分集、多源和多目标DA，验证其通用性。
• 将MCC扩展至两种新场景：多源部分DA与多目标部分DA，进一步验证其在标准设置之外的泛化能力。

实验结果

研究问题

• RQ1 是否可设计一种单一的域自适应方法，在无需架构或训练修改的情况下，有效处理多种不同的DA场景？
• RQ2 减少正确类别与模糊类别之间的类别混淆，对多样化域偏移设置下的迁移性能有何影响？
• RQ3 非对抗性、最小化混淆的损失在收敛速度与准确率方面，能在多大程度上超越对抗性域对齐方法？
• RQ4 所提出的最小类别混淆（MCC）损失能否作为通用正则化器，增强现有SOTA DA方法？
• RQ5 MCC在具有挑战性的基准（如DomainNet）上的表现如何，特别是在极端域偏移和部分标签设置下？

主要发现

• 所提出的最小类别混淆（MCC）损失在四种标准域自适应场景（闭集、部分集、多源、多目标DA）中均实现了最先进性能。
• 在具有挑战性的DomainNet基准上，MCC相比之前SOTA方法取得了7.3%的准确率提升，展现出在极端域偏移下的强大性能。
• MCC使单一模型无需微调或架构修改即可在多种DA场景中实现良好泛化，充分证明其通用性。
• 当作为正则化器与现有DA方法结合使用时，MCC显著加速收敛，改善训练动态并提升最终性能。
• 该方法可泛化至两种新提出的场景——多源部分DA与多目标部分DA，进一步验证其鲁棒性与适应能力。
• MCC的非对抗性设计使其收敛速度优于对抗性域对齐方法，同时保持或超越其性能表现。