[论文解读] Effective Label Propagation for Discriminative Semi-Supervised Domain Adaptation

Zhiyong Huang, Kekai Sheng+6 more|arXiv (Cornell University)|Dec 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 8

一句话总结

本文提出了一种新型半监督域自适应框架——有效标签传播（ELP），通过域间循环差异损失和具有动态阈值与平衡伪标签聚合的域内自训练，提升目标域特征的可分性。ELP在Office-Home和DomainNet数据集上将最先进SSDA方法的性能提升了2–3%，并在VisDA-2017上将UDA性能从81.5%提升至86.1%。

ABSTRACT

Semi-supervised domain adaptation (SSDA) methods have demonstrated great potential in large-scale image classification tasks when massive labeled data are available in the source domain but very few labeled samples are provided in the target domain. Existing solutions usually focus on feature alignment between the two domains while paying little attention to the discrimination capability of learned representations in the target domain. In this paper, we present a novel and effective method, namely Effective Label Propagation (ELP), to tackle this problem by using effective inter-domain and intra-domain semantic information propagation. For inter-domain propagation, we propose a new cycle discrepancy loss to encourage consistency of semantic information between the two domains. For intra-domain propagation, we propose an effective self-training strategy to mitigate the noises in pseudo-labeled target domain data and improve the feature discriminability in the target domain. As a general method, our ELP can be easily applied to various domain adaptation approaches and can facilitate their feature discrimination in the target domain. Experiments on Office-Home and DomainNet benchmarks show ELP consistently improves the classification accuracy of mainstream SSDA methods by 2%~3%. Additionally, ELP also improves the performance of UDA methods as well (81.5% vs 86.1%), based on UDA experiments on the VisDA-2017 benchmark. Our source code and pre-trained models will be released soon.

研究动机与目标

• 为解决尽管已有域对齐，目标域中学习表征的可分性仍有限的问题。
• 通过利用域间和域内语义信息传播，提升目标域中的特征可分性。
• 通过稳健的自训练策略（含动态阈值和平衡聚合）减轻伪标签目标样本中的噪声。
• 开发一种可泛化的框架，在不修改网络架构的前提下，同时提升SSDA和UDA方法的性能。

提出的方法

• 引入循环差异损失（CDL），通过要求每个域的特征能够解释另一域的标记样本，强制源域与目标域之间的标签一致性。
• 采用两阶段训练流程：第一阶段通过CDL学习初始表征，第二阶段通过自训练进一步优化表征。
• 应用动态阈值策略，筛选目标域中高置信度的伪标签样本，以适应类别特定的不确定性。
• 使用记忆库存储并随时间更新可靠的伪标签，提升训练稳定性。
• 通过可学习的λ参数进行随机混合，实现平衡的伪标签聚合，以增强特征可分性。
• 将该方法作为插件模块集成至现有SSDA和UDA框架中，实现广泛适用性。

实验结果

研究问题

• RQ1 在半监督域自适应中，能否有效强制实现域间标签一致性，以提升源域与目标域之间的语义对齐？
• RQ2 如何设计域内自训练策略，以减少伪标签目标数据中的噪声并提升特征可分性？
• RQ3 在存在域偏移的情况下，动态阈值在选择用于自训练的可靠伪标签样本方面起到什么作用？
• RQ4 与固定或随机混合相比，采用自适应λ参数的平衡混合策略如何改善表征学习？
• RQ5 ELP在多种基准上对SSDA和UDA方法的性能提升程度如何？

主要发现

• ELP在Office-Home和DomainNet基准上，将最先进SSDA方法的分类准确率提升了2–3%。
• 在VisDA-2017上，当应用于基线UDA方法时，ELP将UDA性能从81.5%提升至86.1%。
• 消融研究证实，ELP的两个阶段均必不可少，其中第二阶段显著提升了可分性。
• 动态阈值策略优于固定阈值，尤其在处理类别不平衡和域偏移时，能根据类别特定置信度自适应调整。
• 在平衡混合中，最优λ值为0.5，当λ减小时性能下降，证实了对称数据混合的重要性。
• 采用λ=0.5的模型在Office-Home基准上达到71.5%的最高平均准确率，优于MME和消融变体。