[论文解读] Cross-Domain Adaptive Clustering for Semi-Supervised Domain Adaptation

Jichang Li, Guanbin Li+2 more|arXiv (Cornell University)|Apr 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用 7

一句话总结

本文提出了一种新型半监督域自适应方法——跨域自适应聚类（CDAC），通过对抗性自适应聚类损失和基于置信度的伪标签，增强目标域中的特征聚类。通过在域间对齐聚类特征并强化类别特定的聚类中心，CDAC在DomainNet、Office-Home和Office基准上实现了最先进性能，平均准确率相比之前方法最高提升25.3%。

ABSTRACT

In semi-supervised domain adaptation, a few labeled samples per class in the target domain guide features of the remaining target samples to aggregate around them. However, the trained model cannot produce a highly discriminative feature representation for the target domain because the training data is dominated by labeled samples from the source domain. This could lead to disconnection between the labeled and unlabeled target samples as well as misalignment between unlabeled target samples and the source domain. In this paper, we propose a novel approach called Cross-domain Adaptive Clustering to address this problem. To achieve both inter-domain and intra-domain adaptation, we first introduce an adversarial adaptive clustering loss to group features of unlabeled target data into clusters and perform cluster-wise feature alignment across the source and target domains. We further apply pseudo labeling to unlabeled samples in the target domain and retain pseudo-labels with high confidence. Pseudo labeling expands the number of ``labeled" samples in each class in the target domain, and thus produces a more robust and powerful cluster core for each class to facilitate adversarial learning. Extensive experiments on benchmark datasets, including DomainNet, Office-Home and Office, demonstrate that our proposed approach achieves the state-of-the-art performance in semi-supervised domain adaptation.

研究动机与目标

• 解决现有半监督域自适应方法无法同时对齐域内类别子分布与域间特征分布的局限性。
• 克服因标注样本稀疏导致目标域中聚类中心弱化和不稳定的缺陷。
• 通过增强特征可分性和减少源域与目标域之间的特征不匹配，提升模型泛化能力。
• 构建统一框架，通过对抗聚类和伪标签实现域间与域内自适应的联合优化。

提出的方法

• 引入对抗性自适应聚类（AAC）损失，将未标注的目标域特征分组为类别特定的聚类，促进域内自适应。
• 通过最小化特征提取器的AAC损失并最大化分类器的AAC损失，实现源域与目标域之间的聚类级特征对齐。
• 采用基于置信度的伪标签方法，对未标注的目标样本进行伪标签分配，提升每类可靠“标注”样本数量，以强化聚类中心。
• 通过极小化-极大化训练优化模型：最小化AAC损失以形成聚类，最大化AAC损失以实现跨域对齐。
• 将AAC损失与伪标签损失联合交叉熵损失，联合训练特征提取器与分类器。
• 使用t-SNE可视化方法，展示训练过程中聚类级对齐的渐进过程。

实验结果

研究问题

• RQ1 与样本级或分布级对齐相比，跨域聚类级特征对齐是否能提升半监督域自适应性能？
• RQ2 基于置信度的伪标签是否能增强目标域聚类中心的鲁棒性与代表性？
• RQ3 对抗性自适应聚类在多大程度上能减少跨域特征不匹配并提升模型泛化能力？
• RQ4 在低样本设置下，伪标签与对抗聚类的结合对性能有何影响？

主要发现

• CDAC在DomainNet、Office-Home和Office基准上达到最先进性能，平均准确率相比基线最高提升25.3%。
• 对抗性自适应聚类损失比基线方法更有效地降低聚类中心距离（CCD），表明其具有更优的跨域聚类对齐能力。
• 伪标签方法正确率高，在1-shot设置下，每轮训练中高达63.8%的未标注样本被分配到正确伪标签。
• 联合使用交叉熵损失、AAC损失与伪标签损失的模型达到最高分类准确率，证明各组件具有互补优势。
• t-SNE可视化结果表明，目标域特征在训练过程中逐步收敛至对应聚类中心，并与源域聚类对齐。
• 消融实验显示，仅使用AAC损失或仅使用伪标签损失时，性能分别提升17.6%和23.4%，完整模型取得最佳效果。