[论文解读] Known-class Aware Self-ensemble for Open Set Domain Adaptation

Qing Lian, Wen Li+2 more|arXiv (Cornell University)|May 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用 8

一句话总结

本文提出了一种名为已知类别感知自集成（KASE）的新方法，用于开放集域自适应，解决了源域与目标域之间仅部分重叠的标签空间问题。KASE 集成了一种已知类别感知识别（KAR）模块，用于区分已知类别与未知类别，并引入一种已知类别感知自适应（KAA）模块，基于已知类别的似然性重新加权域自适应损失，显著提升了在 Syn2Real-O、Office-31 和 Digits 数据集上相较于最先进方法的性能。

ABSTRACT

Existing domain adaptation methods generally assume different domains have the identical label space, which is quite restrict for real-world applications. In this paper, we focus on a more realistic and challenging case of open set domain adaptation. Particularly, in open set domain adaptation, we allow the classes from the source and target domains to be partially overlapped. In this case, the assumption of conventional distribution alignment does not hold anymore, due to the different label spaces in two domains. To tackle this challenge, we propose a new approach coined as Known-class Aware Self-Ensemble (KASE), which is built upon the recently developed self-ensemble model. In KASE, we first introduce a Known-class Aware Recognition (KAR) module to identify the known and unknown classes from the target domain, which is achieved by encouraging a low cross-entropy for known classes and a high entropy based on the source data from the unknown class. Then, we develop a Known-class Aware Adaptation (KAA) module to better adapt from the source domain to the target by reweighing the adaptation loss based on the likeliness to belong to known classes of unlabeled target samples as predicted by KAR. Extensive experiments on multiple benchmark datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决源域与目标域仅共享部分类别的开放集域自适应挑战。
• 克服传统域自适应方法因假设标签空间完全相同而失效的问题。
• 通过在目标域中区分已知类别与未知类别，提升模型鲁棒性。
• 通过基于已知类别归属可能性重新加权无标签目标样本，增强域自适应性能。
• 在存在部分类别重叠与未知类别的现实场景中实现更优性能。

提出的方法

• KARE 使用双损失：在源域中最小化已知类别的交叉熵损失，同时最大化未知类别的熵。
• 已知类别感知识别（KAR）模块根据预测置信度和熵，将目标样本分类为已知或未知类别。
• 已知类别感知自适应（KAA）模块利用 KAR 输出的连续得分重新加权自适应损失，优先处理已知类别样本。
• KASE 基于自集成框架构建，支持 KAR 与 KAA 模块的端到端联合训练。
• 该方法利用共享主干网络（如 AlexNet）提取特征表示，并采用 t-SNE 可视化分析特征分布的偏移情况。
• 连续重新加权策略替代了二值加权方式，降低了未知类别目标样本带来的负面影响。

实验结果

研究问题

• RQ1 在开放集域自适应设置下，如何有效区分目标域中的已知类别与未知类别？
• RQ2 基于已知类别似然性重新加权自适应损失，能否提升域自适应性能？
• RQ3 所提出的 KASE 方法在标签空间部分重叠的情况下，如何处理域偏移问题？
• RQ4 KAR 与 KAA 模块的集成是否优于现有的开放集与闭集域自适应方法？
• RQ5 连续重新加权策略在多大程度上缓解了未知类别样本带来的负迁移影响？

主要发现

• 在 Syn2Real-O 数据集上，KASE 在 A→R 设置下达到 87.0% 的准确率，超过此前最先进方法的 86.9%。
• 在 Office-31 数据集上，KASE 在全部六个域迁移设置中均取得最高平均准确率 81.8%，优于先前方法。
• 在 Digits 数据集上，KASE 达到 84.8% 的平均准确率，超过 AODA 报告的最先进水平 82.8%。
• 通过 t-SNE 可视化证实，已知类别的特征被良好分离并聚集成簇，而未知类别样本则表现出更高的熵值与分散性。
• 消融实验表明，KAR 对未知类别的熵最大化显著提升了泛化能力并减少了误分类。
• KAA 中的连续重新加权策略在高偏移设置（如 D→A 和 W→A）下表现出更稳定且高效的自适应性能。