[论文解读] Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

Jian Liang, Dapeng Hu+1 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning被引用 324

一句话总结

本论文提出 SHOT，一种用于无监督域适应的框架，使用冻结的源分类器和目标专用编码器，以及自监督伪标签来在无需访问源数据的情况下进行自适应。SHOT 在多种 DA 设置下实现了最先进的结果。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named \\emph{Source HypOthesis Transfer} (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and self-supervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.

研究动机与目标

• 提出一种实际的无监督域适应设置，在仅有训练好的源模型且保护源数据隐私的前提下进行研究。
• 提出一个通用表示学习框架（SHOT），使目标表示与源假设对齐而不需要源数据。
• 通过信息最大化和自监督伪标签提升目标特征学习。
• 在闭集、部分集和开放集的基准上评估 SHOT，以展示其通用性和性能。
• 探索网络架构选择（权重归一化、批归一化、标签平滑）以提升自适应效果。

提出的方法

• 冻结源分类器（假设）h_s，并学习目标特征编码器g_t，以产生适合源假设的目标表示。
• 优化信息最大化（IM）目标，包括熵最小化和多样性提升，使目标输出趋于一热且具有多样性。
• 引入基于目标域原型的自监督伪标签，以 refined 目标表示并减少对噪声源驱动标签的依赖。
• 在伪标签监督中加入平衡项，结合 IM 损失和伪标签引导（β 参数）。
• 在网络中使用权重归一化、批归一化和标签平滑以增强自适应。
• 将 SHOT 表述为一个端到端的框架，能够扩展到部分/开放集的 DA 设置。

实验结果

研究问题

• RQ1 是否可以在不访问源数据的情况下，使用训练好的源模型有效进行无监督域适应？
• RQ2 如何在不共享源数据的情况下，指导目标特征学习以与源假设对齐？
• RQ3 信息最大化加自监督伪标签是否在闭集、部分集和开放集的跨域表示中表现稳健？
• RQ4 哪些架构选择（BN、WN、LS）能够进一步提升 SHOT 的自适应性能？

主要发现

• SHOT-IM 与 SHOT 在多个基准上持续优于仅使用源模型的基线。
• 在 Office-Home 数据集上，SHOT 将闭集 DA 的平均准确率提升至 71.8%，在开放集/部分设置中提升至 79.3%，相较于之前的方法。
• 对于数字、Office 与 VisDA-C 任务，SHOT 实现了最先进或具竞争力的结果，且 SHOT 常因自监督伪标签而超过 SHOT-IM。
• 自监督伪标签的性能优于简单的伪标签，并且将 L_ent 与 L_div 结合通常能够提供最佳结果。
• 在消融实验中，BN、WN、LS 对性能有贡献，且它们与 SHOT-IM 结合时获得最佳总体结果。
• 类表结果显示 SHOT 取得高平均值（例如 SHOT 全量在 Office-Home 上超越前一方法，具有显著的提升）并带来强烈的每任务增益。