[论文解读] Minimum Class Confusion for Versatile Domain Adaptation

Ying Jin, Ximei Wang+2 more|arXiv (Cornell University)|Dec 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 67被引用 25

一句话总结

本文提出最小类别混淆（MCC），一种新颖的非对抗性域自适应损失，通过最小化目标预测中的成对类别混淆来提升在多样化域自适应场景下的可迁移性。MCC使单一方法在闭集、部分集、多源和多目标域自适应中均优于特定场景的最先进方法，在DomainNet上实现7.3%更高的准确率，并且收敛速度比现有方法快3倍。

ABSTRACT

There are a variety of Domain Adaptation (DA) scenarios subject to label sets and domain configurations, including closed-set and partial-set DA, as well as multi-source and multi-target DA. It is notable that existing DA methods are generally designed only for a specific scenario, and may underperform for scenarios they are not tailored to. To this end, this paper studies Versatile Domain Adaptation (VDA), where one method can handle several different DA scenarios without any modification. Towards this goal, a more general inductive bias other than the domain alignment should be explored. We delve into a missing piece of existing methods: class confusion, the tendency that a classifier confuses the predictions between the correct and ambiguous classes for target examples, which is common in different DA scenarios. We uncover that reducing such pairwise class confusion leads to significant transfer gains. With this insight, we propose a general loss function: Minimum Class Confusion (MCC). It can be characterized as (1) a non-adversarial DA method without explicitly deploying domain alignment, enjoying faster convergence speed; (2) a versatile approach that can handle four existing scenarios: Closed-Set, Partial-Set, Multi-Source, and Multi-Target DA, outperforming the state-of-the-art methods in these scenarios, especially on one of the largest and hardest datasets to date (7.3% on DomainNet). Its versatility is further justified by two scenarios proposed in this paper: Multi-Source Partial DA and Multi-Target Partial DA. In addition, it can also be used as a general regularizer that is orthogonal and complementary to a variety of existing DA methods, accelerating convergence and pushing these readily competitive methods to stronger ones. Code is available at https://github.com/thuml/Versatile-Domain-Adaptation.

研究动机与目标

• 解决现有域自适应方法局限于特定场景、在非目标配置下性能下降的局限性。
• 识别超越域对齐的更通用归纳偏置，使单一方法无需修改即可处理多种域自适应场景。
• 研究类别混淆（语义相似类别之间的误分类）作为影响多样化域自适应设置中迁移性能的关键因素的作用。
• 开发一种通用损失函数——最小类别混淆（MCC），以减少此类混淆并提升模型泛化能力。
• 验证MCC作为独立方法及互补正则化器的潜力，以加速现有域自适应技术的收敛并提升准确率。

提出的方法

• MCC被形式化为一种非对抗性损失，通过测量分类器预测与其转置之间的内积来最小化类别混淆，从而捕捉类别间的成对混淆。
• 该方法包含三个组成部分：类别相关性（CC）用于建模类别间的混淆，概率重标度（PR）用于归一化预测，不确定性重加权（UR）用于强调高熵的模糊样本。
• UR根据预测不确定性动态加权样本，优先关注高模糊性和低置信度的样本，从而聚焦于难以分类的样本。
• MCC被设计为与现有域自适应方法正交且互补，可作为正则化器使用，以加速收敛并提升性能。
• 损失在训练过程中端到端优化，仅需极少超参数调优，适用于所有主要域自适应场景，包括新提出的场景：多源部分集DA和多目标部分集DA。
• 该方法避免显式域对齐，转而依赖混淆最小化，因此相比对抗性域自适应方法具有更快的收敛速度。

实验结果

研究问题

• RQ1 减少语义相似类别之间的类别混淆是否能提升在多样化域自适应场景下的泛化能力？
• RQ2 是否存在超越域对齐的通用归纳偏置，使单一方法无需架构或训练修改即可处理多种域自适应设置？
• RQ3 类别混淆在不同域自适应场景中（包括部分集和多源/目标设置）如何表现？
• RQ4 能否设计一种统一的损失函数，在最小化混淆的同时在所有主要DA场景中保持有效性和鲁棒性？
• RQ5 MCC在多大程度上可作为通用正则化器，以提升现有域自适应方法的收敛速度和准确率？

主要发现

• MCC在全部六个域自适应场景中均达到最先进性能，包括闭集、部分集、多源、多目标，以及新提出的两种设置：多源部分集DA和多目标部分集DA。
• 在具有挑战性的DomainNet数据集上，MCC相比之前SOTA方法准确率提升7.3%，证明其在大规模、强域偏移设置下的有效性。
• MCC收敛速度比CDAN和DANN快3倍，在仅1,000次迭代时即达到95%准确率，而其他方法在该点仍低于85%。
• 消融实验证实MCC的所有组件——类别相关性、概率重标度和不确定性重加权——均不可或缺，完整MCC模型在Office-31（UDA）上实现89.4%的平均准确率（使用ResNet-50）。
• 理论分析表明，MCC的A-距离和理想误差（𝜖_ideal）均低于主流方法，表明其泛化能力和域对齐效果更优。
• 当作为正则化器使用时，MCC能加速收敛并提升现有DA方法的性能，证实其正交性和互补性。