[论文解读] Multi-level Consistency Learning for Semi-supervised Domain Adaptation

Zizheng Yan, Yushuang Wu+4 more|arXiv (Cornell University)|May 9, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出多级一致性学习（MCL），一种新颖的半监督域自适应框架，通过在三个层次上强制一致性：通过基于原型的最优传输实现域间对齐，通过类内对比聚类实现域内紧凑且判别性特征，以及通过数据增强实现样本级预测一致性。MCL在VisDA2017、DomainNet和Office-Home数据集上取得最先进性能，在1-shot设置下准确率最高提升3%。

ABSTRACT

Semi-supervised domain adaptation (SSDA) aims to apply knowledge learned from a fully labeled source domain to a scarcely labeled target domain. In this paper, we propose a Multi-level Consistency Learning (MCL) framework for SSDA. Specifically, our MCL regularizes the consistency of different views of target domain samples at three levels: (i) at inter-domain level, we robustly and accurately align the source and target domains using a prototype-based optimal transport method that utilizes the pros and cons of different views of target samples; (ii) at intra-domain level, we facilitate the learning of both discriminative and compact target feature representations by proposing a novel class-wise contrastive clustering loss; (iii) at sample level, we follow standard practice and improve the prediction accuracy by conducting a consistency-based self-training. Empirically, we verified the effectiveness of our MCL framework on three popular SSDA benchmarks, i.e., VisDA2017, DomainNet, and Office-Home datasets, and the experimental results demonstrate that our MCL framework achieves the state-of-the-art performance.

研究动机与目标

• 为解决现有半监督域自适应（SSDA）方法在样本级别之外的一致性正则化利用不足的局限性。
• 通过将基于原型的最优传输与多视图目标样本一致性相结合，提升源域与目标域之间的域对齐鲁棒性。
• 通过一种新颖的类内对比聚类损失，促进预测空间中同类样本的高相关性与异类样本的低相关性，从而增强目标域的特征学习。
• 将域间、域内和样本级一致性统一到一个连贯的框架中，以在低样本目标标注设置下提升泛化能力。

提出的方法

• 在域间层面，MCL采用基于原型的最优传输方法，计算不同视图下的目标样本与源域原型之间的映射，以强制实现域对齐的一致性。
• 该方法引入一种新颖的类内交叉相关矩阵，用于计算目标样本两个增强视图预测结果之间的相似性，以促进紧凑且判别性特征簇的形成。
• 在域内层面，提出一种类内对比聚类损失，以增强预测空间中同类样本间的相关性，同时降低不同类别样本间的相关性。
• 在样本层面，通过强制同一目标样本在弱增强和强增强视图下的预测保持一致，应用标准的一致性正则化。
• 该框架结合三种损失组件：域间对齐损失、域内对比聚类损失和样本级预测一致性损失，实现端到端训练。
• 基于原型的最优传输策略通过利用目标样本的互补视图来优化源域到目标域的对齐，从而提升鲁棒性。

实验结果

研究问题

• RQ1 一致性正则化能否被有效扩展至样本级别以上，以提升半监督域自适应性能？
• RQ2 如何通过利用目标样本的多视图信息，使域间对齐更加鲁棒和准确？
• RQ3 与样本级别方法相比，类内对比聚类是否能生成更紧凑且更具判别性的目标特征表示？
• RQ4 多级一致性学习在VisDA2017、DomainNet和Office-Home等标准SSDA基准上的性能提升程度如何？

主要发现

• 在VisDA2017数据集的1-shot设置下，MCL实现了86.3%的平均类别准确率，较之前最先进方法提升超过3%。
• 在Office-Home数据集上，MCL在A→R设置下的3-shot设置中达到84.3%的准确率，优于先前方法1.4个百分点。
• 消融实验表明，域间、域内和样本级一致性三个组件均对性能有显著贡献，完整模型取得最佳结果。
• 基于原型的最优传输方法在DomainNet的C→S和P→R设置下，相比标准样本级最优传输，分别将域偏移减少3.5%和2.1%，准确率显著提升。
• 在低样本设置下，类内对比聚类损失优于样本级相关性方法，证明其在学习紧凑且判别性特征方面的有效性。
• 该框架在VisDA2017、DomainNet和Office-Home三个基准数据集上，无论在1-shot还是3-shot设置下，均实现了持续的性能提升。