[论文解读] Distill and Fine-tune: Effective Adaptation from a Black-box Source Model

Jian Liang, Dapeng Hu+2 more|arXiv (Cornell University)|Apr 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 10

一句话总结

本文提出 Dis-tune，一种两阶段无监督域自适应框架，通过从仅提供预测结果的黑箱源模型中蒸馏知识到目标模型，并在无标签目标数据上进行微调，实现了在封闭集和部分集 UDA 设置下的最先进性能，且无需原始源数据，避免了数据泄露风险。

ABSTRACT

To alleviate the burden of labeling, unsupervised domain adaptation (UDA) aims to transfer knowledge in previous related labeled datasets (source) to a new unlabeled dataset (target). Despite impressive progress, prior methods always need to access the raw source data and develop data-dependent alignment approaches to recognize the target samples in a transductive learning manner, which may raise privacy concerns from source individuals. Several recent studies resort to an alternative solution by exploiting the well-trained white-box model instead of the raw data from the source domain, however, it may leak the raw data through generative adversarial training. This paper studies a practical and interesting setting for UDA, where only a black-box source model (i.e., only network predictions are available) is provided during adaptation in the target domain. Besides, different neural networks are even allowed to be employed for different domains. For this new problem, we propose a novel two-step adaptation framework called Distill and Fine-tune (Dis-tune). Specifically, Dis-tune first structurally distills the knowledge from the source model to a customized target model, then unsupervisedly fine-tunes the distilled model to fit the target domain. To verify the effectiveness, we consider two UDA scenarios (\ie, closed-set and partial-set), and discover that Dis-tune achieves highly competitive performance to state-of-the-art approaches.

研究动机与目标

• 通过消除对原始源数据访问的需求，解决无监督域自适应（UDA）中的隐私担忧。
• 在仅能访问黑箱源模型预测结果而无法获取底层数据或模型权重的情况下，实现有效的域自适应。
• 开发一种灵活的框架，支持源域和目标域使用不同的神经网络架构。
• 在封闭集和部分集域自适应场景下均实现具有竞争力的性能。

提出的方法

• 首先，利用源模型预测生成的软标签，将黑箱源模型的结构知识蒸馏到新初始化的目标模型中。
• 采用学生-教师蒸馏目标函数，将源模型的预测行为迁移至目标模型。
• 然后，仅使用无标签目标数据对蒸馏后的目标模型进行无监督微调。
• 在微调过程中应用一致性正则化损失，以提升目标域上的鲁棒性和泛化能力。
• 允许源域和目标域使用不同的神经网络架构，增强框架灵活性。
• 采用两阶段端到端训练流程：先进行知识蒸馏，再进行自监督微调。

实验结果

研究问题

• RQ1 当仅能访问黑箱源模型的预测结果，而无法获取原始数据或模型权重时，能否实现有效的域自适应？
• RQ2 所提出的两阶段蒸馏与微调框架在性能和隐私方面，相较于现有的依赖数据或基于白盒模型的 UDA 方法有何表现？
• RQ3 该框架在封闭集和部分集 UDA 场景下是否均能保持强性能？
• RQ4 在源域和目标域使用不同神经网络架构时，是否会导致自适应性能下降？

主要发现

• Dis-tune 在封闭集和部分集自适应场景下，与最先进 UDA 方法相比均表现出高度竞争力的性能。
• 该框架有效实现了从黑箱源模型的知识迁移，且无需原始源数据，从而缓解了隐私风险。
• 两阶段蒸馏与微调流程显著优于仅使用蒸馏或仅使用微调的基线方法。
• 即使在源域和目标域使用不同神经网络架构的情况下，该方法仍保持有效性。
• 该方法避免了白盒模型访问带来的数据泄露风险，例如生成对抗训练中可能出现的问题。
• 实证结果表明，该方法在实际约束条件下，于多样化 UDA 基准上展现出强大的泛化能力。