[论文解读] Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer

Jian Liang, Dapeng Hu+3 more|arXiv (Cornell University)|Dec 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 115被引用 24

一句话总结

本文提出源假设迁移（Source HypOthesis Transfer, SHOT）方法，用于无监督域自适应，且无需访问源数据，仅依赖预训练的源模型。通过信息最大化和自监督学习，将目标特征对齐至源分类器的假设，并通过置信度驱动的标签迁移（SHOT++）增强预测，该方法在数字识别与物体识别基准上实现了最先进或具有竞争力的性能。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer knowledge from a related but different well-labeled source domain to a new unlabeled target domain. Most existing UDA methods require access to the source data, and thus are not applicable when the data are confidential and not shareable due to privacy concerns. This paper aims to tackle a realistic setting with only a classification model available trained over, instead of accessing to, the source data. To effectively utilize the source model for adaptation, we propose a novel approach called Source HypOthesis Transfer (SHOT), which learns the feature extraction module for the target domain by fitting the target data features to the frozen source classification module (representing classification hypothesis). Specifically, SHOT exploits both information maximization and self-supervised learning for the feature extraction module learning to ensure the target features are implicitly aligned with the features of unseen source data via the same hypothesis. Furthermore, we propose a new labeling transfer strategy, which separates the target data into two splits based on the confidence of predictions (labeling information), and then employ semi-supervised learning to improve the accuracy of less-confident predictions in the target domain. We denote labeling transfer as SHOT++ if the predictions are obtained by SHOT. Extensive experiments on both digit classification and object recognition tasks show that SHOT and SHOT++ achieve results surpassing or comparable to the state-of-the-arts, demonstrating the effectiveness of our approaches for various visual domain adaptation problems. Code is available at \url{https://github.com/tim-learn/SHOT-plus}.

研究动机与目标

• 解决因隐私或保密限制而无法访问源数据时，无监督域自适应的挑战。
• 开发一种仅利用预训练源模型（无需访问源数据或目标标签）的有效域自适应方法。
• 克服在无源数据情况下，将目标域特征与源域表征对齐的困难。
• 通过分离高置信度与低置信度预测，并应用半监督学习，提升目标数据上的预测可靠性。
• 在多种视觉域自适应场景（包括闭集与部分集设置）中，验证所提框架的有效性。

提出的方法

• 提出源假设迁移（SHOT），冻结源模型的分类头（即假设），并在目标数据上微调共享特征编码器，以使特征与源假设对齐。
• 利用目标特征与源模型输出之间的信息最大化，以鼓励目标数据上产生置信度高、类似独热编码的预测。
• 整合自监督学习目标（如旋转预测），在无标签情况下提升特征表示质量。
• 设计一种标签迁移策略，根据预测置信度将目标预测划分为高置信度与低置信度两组。
• 对低置信度组应用半监督学习，以优化预测，提升整体准确率。
• 通过结合假设迁移与标签迁移，将SHOT扩展为SHOT++，实现目标预测的迭代优化。

实验结果

研究问题

• RQ1 是否能在不访问源数据的前提下，仅依赖预训练源模型，实现性能强劲的域自适应方法？
• RQ2 在无源数据的情况下，如何有效将目标域特征与源模型的分类假设对齐？
• RQ3 自监督学习与基于置信度的标签迁移在无源数据域自适应中，能在多大程度上提升预测准确率？
• RQ4 该方法对超参数（如置信度阈值与损失权重）的选择有多大的鲁棒性？
• RQ5 假设迁移与标签迁移的结合（SHOT++）是否在闭集与部分集域自适应中均优于现有最先进方法？

主要发现

• SHOT 在无需访问源数据的情况下，于数字分类（如 SVHN → MNIST）与物体识别（如 Office-Home）基准上均实现了最先进或具有竞争力的性能。
• SHOT++ 在多个无监督域自适应基准（包括 Office-Home 与 VisDA-2017）上表现优于或匹配现有最先进方法。
• 该方法对超参数选择具有鲁棒性，性能在不同置信度阈值与损失权重下保持稳定。
• t-SNE 可视化显示，SHOT 有效对齐了目标特征与源特征，尤其在类别内聚类方面优于基线方法。
• 训练过程稳定，损失函数在 8–10 个周期内收敛，准确率持续提升，表明优化过程可靠。
• 定性分析表明，标签迁移策略成功分离了易样本与难样本，低置信度预测显著受益于半监督优化。