[论文解读] Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation

Dongliang Chang, Aneeshan Sain+3 more|arXiv (Cornell University)|Mar 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用 4

一句话总结

本文提出了一种新颖的互学习框架——互学习分离（MTS），用于开放集域自适应（OSDA），通过将未知样本检测与域对齐解耦，显式应对较大的域差距。通过以相互监督的方式训练两个专用网络——样本分离网络（SSN）和分布匹配网络（DMN），MTS在极端域偏移下提升了泛化能力，尤其在重新设计的PACS数据集上实现了最先进性能，该数据集表现出显著的域差距。

ABSTRACT

Unsupervised domain adaptation aims to leverage labeled data from a source domain to learn a classifier for an unlabeled target domain. Among its many variants, open set domain adaptation (OSDA) is perhaps the most challenging, as it further assumes the presence of unknown classes in the target domain. In this paper, we study OSDA with a particular focus on enriching its ability to traverse across larger domain gaps. Firstly, we show that existing state-of-the-art methods suffer a considerable performance drop in the presence of larger domain gaps, especially on a new dataset (PACS) that we re-purposed for OSDA. We then propose a novel framework to specifically address the larger domain gaps. The key insight lies with how we exploit the mutually beneficial information between two networks; (a) to separate samples of known and unknown classes, (b) to maximize the domain confusion between source and target domain without the influence of unknown samples. It follows that (a) and (b) will mutually supervise each other and alternate until convergence. Extensive experiments are conducted on Office-31, Office-Home, and PACS datasets, demonstrating the superiority of our method in comparison to other state-of-the-arts. Code available at https://github.com/dongliangchang/Mutual-to-Separate/

研究动机与目标

• 为解决现有OSDA方法在大域差距下性能下降的问题，特别是在现实世界中高域偏移场景下的表现。
• 探究当前统一模型在同时执行未知类别检测与域对齐时的局限性。
• 设计一种双网络框架，实现样本分离与域分布匹配之间的相互监督，以提升鲁棒性。
• 在新重新设计的基准（包括PACS）上评估所提方法，以评估其在极端域偏移下的性能。

提出的方法

• 该方法引入双网络架构：样本分离网络（SSN）学习一个超平面，以区分已知与未知的目标样本。
• 分布匹配网络（DMN）在源域与目标域之间执行对抗性域对齐，同时排除未知样本，以防止负迁移。
• 互学习模块在SSN与DMN之间交替提供监督，通过迭代优化使双方性能相互提升。
• 该框架采用域分离损失，在域对齐过程中将未知目标样本从源域和已知目标特征中排斥开。
• 采用欧氏距离度量源域与目标域特征之间的分布相似性，在此设置下优于KL散度。
• 使用两个卷积神经网络之间的非共享参数，以增强特征表示的多样性并强化互学习。

实验结果

研究问题

• RQ1 在域差距不断增大的情况下，最先进OSDA方法在新重新设计的基准（如PACS）上的表现如何？
• RQ2 将未知样本检测与域对齐解耦是否能提升开放集域自适应中的泛化能力？
• RQ3 两个专用网络之间的互监督对高域偏移域自适应性能有何影响？
• RQ4 从域对齐中排除未知样本是否能防止负迁移并提升鲁棒性？
• RQ5 架构选择（如参数共享与非共享、损失函数）如何影响最终性能？

主要发现

• 在PACS数据集上，该数据集在Office-31、Office-Home和PACS中表现出最大的域差距，所提出的MTS方法在未知类别指标上达到了53.9%的准确率，显著优于先前的SOTA方法。
• 使用从零开始训练的ResNet-18主干网络，MTS在OS指标上提升10.9%，在OS*指标上提升6.6%，在未知类别准确率上达到53.9%，相比基线模型有显著提升。
• 消融研究证实，互学习、域分离损失、非共享权重和欧氏距离等各组件均对性能提升有显著贡献。
• 若不采用互学习，MTS的平均性能下降5.2%，表明互监督对于有效知识交换至关重要。
• 与SOTA基线相比，该方法将域偏移增大时的相对性能下降降低了40%，证明其在大域差距下具有更强的鲁棒性。
• 特征可视化结果表明，MTS成功对齐了跨域的已知类别特征，同时将未知特征相互推开，验证了模型的判别能力。