[论文解读] Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation

Yabin Zhang, Bin Deng+2 more|arXiv (Cornell University)|Jul 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 11

一句话总结

本文提出A²LP，一种用于无监督域自适应的新型半监督学习方法，通过从无标签目标数据中生成高置信度虚拟实例（增强锚点）来增强标签传播。通过迭代应用A²LP进行伪标签生成与域不变特征学习，该方法在Office-31、ImageCLEF-DA和VisDA-2017基准上实现了最先进性能，显著优于标准标签传播方法，并显著提升了领先无监督域自适应（UDA）方法的性能。

ABSTRACT

Motivated by the problem relatedness between unsupervised domain adaptation (UDA) and semi-supervised learning (SSL), many state-of-the-art UDA methods adopt SSL principles (e.g., the cluster assumption) as their learning ingredients. However, they tend to overlook the very domain-shift nature of UDA. In this work, we take a step further to study the proper extensions of SSL techniques for UDA. Taking the algorithm of label propagation (LP) as an example, we analyze the challenges of adopting LP to UDA and theoretically analyze the conditions of affinity graph/matrix construction in order to achieve better propagation of true labels to unlabeled instances. Our analysis suggests a new algorithm of Label Propagation with Augmented Anchors (A$^2$LP), which could potentially improve LP via generation of unlabeled virtual instances (i.e., the augmented anchors) with high-confidence label predictions. To make the proposed A$^2$LP useful for UDA, we propose empirical schemes to generate such virtual instances. The proposed schemes also tackle the domain-shift challenge of UDA by alternating between pseudo labeling via A$^2$LP and domain-invariant feature learning. Experiments show that such a simple SSL extension improves over representative UDA methods of domain-invariant feature learning, and could empower two state-of-the-art methods on benchmark UDA datasets. Our results show the value of further investigation on SSL techniques for UDA problems.

研究动机与目标

• 为解决将标准半监督学习（SSL）方法（如标签传播（LP））直接应用于无监督域自适应（UDA）时，因域偏移导致性能下降的挑战。
• 分析在域偏移存在的情况下，LP中的亲和图在何种条件下能有效将真实标签传播至无标签目标实例。
• 提出一种新方法A²LP，通过从无标签目标数据中生成高置信度虚拟实例（增强锚点）来增强LP。
• 在迭代框架中将A²LP与域不变特征学习相结合，以提升伪标签质量与模型泛化能力。
• 通过实证验证，A²LP显著优于标准LP，并可作为UDA的强基线。

提出的方法

• A²LP通过计算无标签目标实例的加权组合来生成虚拟无标签实例（增强锚点），其中权重源自其软聚类分配的熵。
• 低熵预测表示更高置信度，因此在虚拟实例生成过程中，熵较低的实例被赋予更高的权重。
• 使用真实实例与增强实例的特征构建亲和矩阵，以提高标签传播的可靠性。
• 该方法交替执行两个步骤：(1) 使用A²LP为目标数据生成高质量伪标签；(2) 利用伪标签目标数据与有标签源数据训练域不变特征提取器。
• 通过利用日益准确的域不变表示，该迭代优化循环随时间逐步提升伪标签质量。
• 该方法应用于标准UDA基准，并集成至最先进方法（如MSTN和CAN）中，取代其原始伪标签生成器。

实验结果

研究问题

• RQ1 在存在域偏移的情况下，标签传播在何种条件下能有效将真实标签传播至无标签目标实例？
• RQ2 如何生成虚拟实例以提升UDA设置中标签传播的可靠性？
• RQ3 将A²LP与域不变特征学习相结合，是否能在多个UDA基准上实现一致的性能提升？
• RQ4 A²LP是否优于标准标签传播方法，并可作为UDA的强基线？
• RQ5 A²LP是否可通过简单集成用于提升现有最先进UDA方法的性能？

主要发现

• A²LP在所有三个基准数据集上均显著优于标准标签传播方法：Office-31（+4.3%准确率）、ImageCLEF-DA（+4.3%）和VisDA-2017（+4.8%）。
• 当集成至MSTN时，A²LP将ImageCLEF-DA上的准确率从88.2%提升至89.4%，达到新的最先进水平。
• 当应用于CAN时，A²LP将ImageCLEF-DA上的准确率从89.0%提升至90.3%，进一步验证了其有效性。
• 在VisDA-2017上，A²LP使用ResNet-50达到82.7%准确率，使用ResNet-101达到87.6%准确率，优于原始CAN方法。
• 消融实验表明，图结构与虚拟实例生成对性能有显著影响，验证了A²LP设计选择的合理性。
• 实证结果表明，交替执行A²LP与域不变特征学习可带来一致且显著的性能提升，证明了该方法的鲁棒性与泛化能力。