[论文解读] DINE: Domain Adaptation from Single and Multiple Black-box Predictors

Jian Liang, Dapeng Hu+2 more|arXiv (Cornell University)|Apr 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 83被引用 7

一句话总结

本文提出DINE，一种新颖的两阶段域自适应框架，通过使用自适应标签平滑和结构正则化（插值一致性与互信息最大化），在不访问原始数据或模型权重的情况下，实现从单个或多个黑箱源预测器进行知识蒸馏。随后仅在目标数据上进行微调。DINE在单源、多源及部分集无监督域自适应（UDA）设置下均达到最先进性能，即使在将大型源模型（如视觉Transformer）适配至轻量化目标网络时亦表现优异。

ABSTRACT

To ease the burden of labeling, unsupervised domain adaptation (UDA) aims to transfer knowledge in previous and related labeled datasets (sources) to a new unlabeled dataset (target). Despite impressive progress, prior methods always need to access the raw source data and develop data-dependent alignment approaches to recognize the target samples in a transductive learning manner, which may raise privacy concerns from source individuals. Several recent studies resort to an alternative solution by exploiting the well-trained white-box model from the source domain, yet, it may still leak the raw data through generative adversarial learning. This paper studies a practical and interesting setting for UDA, where only black-box source models (i.e., only network predictions are available) are provided during adaptation in the target domain. To solve this problem, we propose a new two-step knowledge adaptation framework called DIstill and fine-tuNE (DINE). Taking into consideration the target data structure, DINE first distills the knowledge from the source predictor to a customized target model, then fine-tunes the distilled model to further fit the target domain. Besides, neural networks are not required to be identical across domains in DINE, even allowing effective adaptation on a low-resource device. Empirical results on three UDA scenarios (i.e., single-source, multi-source, and partial-set) confirm that DINE achieves highly competitive performance compared to state-of-the-art data-dependent approaches. Code is available at \url{https://github.com/tim-learn/DINE/}.

研究动机与目标

• 为解决在仅能访问黑箱源模型预测结果而无法获取原始数据或模型参数的现实场景下的无监督域自适应（UDA）问题。
• 克服现有依赖白箱模型或对抗性训练方法所引发的数据泄露隐私风险。
• 实现在源网络与目标网络结构不同时的有效适应，支持低资源环境下的部署。
• 开发一种利用目标数据结构信息的方法，而无需依赖带标签的目标样本。
• 在涵盖单源、多源及部分集适应的多样化UDA场景中实现具有竞争力的性能。

提出的方法

• 提出两阶段框架：首先利用自适应标签平滑技术，将黑箱源预测结果中的知识蒸馏到目标模型中，以处理截断或部分输出。
• 引入自适应标签平滑（AdaLS）技术，保留top-1 Softmax概率，并将剩余概率均等重新分配，以降低噪声并提升泛化能力。
• 引入插值一致性训练（ICT）作为结构正则化，强制模型对插值样本的预测保持一致性。
• 应用互信息最大化以增强目标预测的多样性，提升模型鲁棒性与泛化能力。
• 在无标签目标数据上使用对比学习目标进行端到端微调，使模型更好地对齐目标数据分布。
• 通过加权平均或集成策略聚合多个源预测器的输出，将框架扩展至多源UDA场景。

实验结果

研究问题

• RQ1 是否仅使用黑箱模型预测即可实现有效的域自适应，而无需访问源数据或模型参数？
• RQ2 如何从不完整或截断的源预测结果（如top-k软标签）中有效蒸馏知识？
• RQ3 在无标签目标样本可用的情况下，哪些结构正则化方法可提升蒸馏性能？
• RQ4 当目标网络显著小于源网络时，所提方法是否仍能保持强性能？
• RQ5 该框架是否能泛化至多样化的UDA设置，包括单源、多源及部分集适应？

主要发现

• DINE在标准UDA基准上达到最先进性能，使用ResNet-50作为目标主干网络时，在Office-Home数据集上平均准确率达到74.1%。
• 消融实验表明，插值一致性（L_im）与Mixup正则化（L_mix）均至关重要，移除任一均导致性能下降1.5–2.0个百分点。
• 自适应标签平滑（AdaLS）技术优于单热编码与普通标签平滑，尤其在仅能获取top-1预测结果时表现更优。
• 即使目标模型较小（如ResNet-18或MobileNet-v2），DINE仍保持强性能，在使用ViT作为源模型时于Office-Home数据集上达到72.2%准确率。
• 微调步骤显著提升了所有设置下的性能，证明其在对齐蒸馏模型与目标域分布中的关键作用。
• 该方法对超参数选择具有鲁棒性，在β=1.0与γ=0.6附近性能稳定，且训练过程收敛可靠。