[论文解读] Adversarial Open Set Domain Adaptation Based on Mutual Information

Tasfia Shermin, Guojun Lu+3 more|arXiv (Cornell University)|Jul 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 1

一句话总结

该论文提出了一种新颖的对抗性域自适应模型，包含多个辅助分类器和一个动态加权模块，以解决开放集域自适应问题，即目标域中包含源域中未出现的已知类和未知类。通过根据域特征自适应地分配样本权重，该方法减少了负迁移现象，并在基准数据集上的性能优于先前的方法。

ABSTRACT

Domain adaptation aims to transfer knowledge from a domain with adequate labeled samples to a domain with scarce labeled samples. Prior research has introduced various open set domain adaptation settings in the literature to extend the applications of domain adaptation methods in real-world scenarios. This paper focuses on the type of open set domain adaptation setting where the target domain has both private ('unknown classes') label space and the shared ('known classes') label space. However, the source domain only has the 'known classes' label space. Prevalent distribution-matching domain adaptation methods are inadequate in such a setting that demands adaptation from a smaller source domain to a larger and diverse target domain with more classes. For addressing this specific open set domain adaptation setting, prior research introduces a domain adversarial model that uses a fixed threshold for distinguishing known from unknown target samples and lacks at handling negative transfers. We extend their adversarial model and propose a novel adversarial domain adaptation model with multiple auxiliary classifiers. The proposed multi-classifier structure introduces a weighting module that evaluates distinctive domain characteristics for assigning the target samples with weights which are more representative to whether they are likely to belong to the known and unknown classes to encourage positive transfers during adversarial training and simultaneously reduces the domain gap between the shared classes of the source and target domains. A thorough experimental investigation shows that our proposed method outperforms existing domain adaptation methods on a number of domain adaptation datasets.

研究动机与目标

• 解决当目标域包含源域中不存在的未知类时的域自适应挑战。
• 克服现有分布匹配方法在从较小的源域向更大、更复杂的目标准备域迁移时的局限性。
• 通过动态评估目标样本是否属于已知类或未知类，减少对抗训练中的负迁移。
• 在提升共享（已知）类对齐的同时，实现对目标域中未知类的鲁棒检测。
• 开发一种在真实世界应用中表现优于固定阈值方法的开放集域自适应方法。

提出的方法

• 引入多分类器结构，通过辅助分类器增强特征表示和域判别能力。
• 设计一个加权模块，用于评估域特定特征，并为目标样本分配自适应权重。
• 利用自适应权重指导对抗训练，促进已知类样本的正向迁移，同时最小化未知类样本的干扰。
• 通过域对抗损失和分类损失的组合进行模型训练，实现共享类特征对齐，同时检测未知类。
• 通过加权机制隐式利用互信息原理，以提升表示质量和域泛化能力。
• 端到端优化模型，采用联合目标函数，平衡分类准确率、域对齐和未知类检测。

实验结果

研究问题

• RQ1 在目标域包含源域中不存在的未知类的开放集场景下，如何改进对抗性域自适应？
• RQ2 基于域特征的动态加权机制是否能减少对抗训练过程中的负迁移？
• RQ3 与固定阈值方法相比，所提出的多分类器结构在已知类和未知类上的性能提升程度如何？
• RQ4 该方法如何处理从较小源域到更大、更复杂且包含额外类别的目标域之间的域偏移问题？
• RQ5 通过自适应加权整合互信息原理，是否能带来更优的特征表示和域对齐效果？

主要发现

• 所提方法在多个基准域自适应数据集上的性能优于现有最先进方法。
• 动态加权模块能有效区分已知类与未知类目标样本，降低负迁移风险。
• 多分类器结构增强了特征判别能力，并改善了源域与目标域之间共享类的对齐效果。
• 在高域偏移和多样化目标类分布场景下，该方法优于固定阈值方法，尤其在开放集域自适应中表现更优。
• 实证结果表明，该方法在已知类上的分类准确率持续提升，且在多种数据集组合下对未知类的检测能力也更优。