[论文解读] Jacobian Norm for Unsupervised Source-Free Domain Adaptation

Weikai Li, Meng Cao+1 more|arXiv (Cornell University)|Apr 7, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出一种雅可比范数（Jacobian Norm, JN）正则化器作为即插即用模块，通过增强模型在目标域上的平滑性来提升无监督源域自适应（USFDA）性能。通过最小化模型在目标样本邻域内的雅可比范数，该方法在无需源数据的情况下提升了泛化能力，在Office-31、Office-Home和VisDA-C上均实现了最先进性能，且计算开销极低。

ABSTRACT

Unsupervised Source (data) Free domain adaptation (USFDA) aims to transfer knowledge from a well-trained source model to a related but unlabeled target domain. In such a scenario, all conventional adaptation methods that require source data fail. To combat this challenge, existing USFDAs turn to transfer knowledge by aligning the target feature to the latent distribution hidden in the source model. However, such information is naturally limited. Thus, the alignment in such a scenario is not only difficult but also insufficient, which degrades the target generalization performance. To relieve this dilemma in current USFDAs, we are motivated to explore a new perspective to boost their performance. For this purpose and gaining necessary insight, we look back upon the origin of the domain adaptation and first theoretically derive a new-brand target generalization error bound based on the model smoothness. Then, following the theoretical insight, a general and model-smoothness-guided Jacobian norm (JN) regularizer is designed and imposed on the target domain to mitigate this dilemma. Extensive experiments are conducted to validate its effectiveness. In its implementation, just with a few lines of codes added to the existing USFDAs, we achieve superior results on various benchmark datasets.

研究动机与目标

• 解决因缺乏源数据而造成知识迁移有限导致的USFDA性能下降问题。
• 克服仅依赖伪标签而未利用局部模型行为的隐式对齐方法的不足。
• 开发一种通用正则化器，通过增强模型在目标域上的平滑性来提升泛化能力。
• 提供一种理论基础扎实、可即插即用的解决方案，兼容现有USFDA框架。
• 实现在仅可访问源模型的黑盒场景下的有效适应。

提出的方法

• 推导出一种新型泛化误差界，其中除领域差异外，还包含基于雅可比范数的模型平滑性项。
• 设计一种JN正则化器，通过惩罚目标样本邻域内输出的大幅变化来促进平滑性。
• 在微调特征编码器过程中将JN正则化器集成到损失函数中，同时保持分类器冻结。
• 使用伪标签实现隐式领域对齐，并将其与JN正则化联合优化以协同提升适应性能。
• 将该方法实现为轻量级、可微分的模块，仅需几行代码即可集成到现有USFDA流水线中。
• 使用反向传播端到端优化模型，为预训练层和新添加层分别设置独立的初始学习率。

实验结果

研究问题

• RQ1 通过雅可比范数衡量的模型平滑性，能否作为有意义的归纳偏置，以改善无源域自适应中的泛化能力？
• RQ2 在无源数据的情况下，引入JN正则化器是否能提升USFDA的性能？
• RQ3 与仅使用隐式对齐相比，JN正则化器在适应性能上表现如何？
• RQ4 在实际应用中，添加JN正则化器的计算成本是多少？
• RQ5 在仅可访问源模型的黑盒USFDA场景中，JN正则化器是否可适用？

主要发现

• 所提出的JN正则化器在Office-31和Office-Home上均实现了最先进平均准确率，优于现有SOTA方法。
• 在VisDA-C上，该方法在12个类别中的9个实现了最佳或第二好的每类准确率，展现出强大的泛化能力。
• 与基线模型SHOT相比，该方法在Office-31上性能提升2%，在Office-Home上提升3.7%，在VisDA-C上提升5.8%。
• JN正则化器的时间开销可忽略不计，在VisDA-C上每批次仅增加0.06秒，适用于实际部署。
• 消融实验表明，隐式对齐与模型平滑性均不可或缺，仅使用JN正则化器在Office-31上即达到87.0%准确率，展现出强大的独立性能。
• 结果验证了理论洞察：模型平滑性是USFDA中一个关键但此前被忽视的因素。