[论文解读] Casting a BAIT for Offline and Online Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang+3 more|arXiv (Cornell University)|Oct 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 19被引用 9

一句话总结

该论文提出 BAIT，一种新颖的无源域自适应方法，通过固定源分类器作为决策边界锚点，并引入一个辅助的“诱饵”分类器来识别并纠正被错误分类的目标特征。通过促使诱饵分类器与源分类器之间对齐，特征提取器被更新以将不确定的目标特征推向源决策边界的正确一侧，从而在无需访问源数据的情况下，在在线无源域自适应中实现了最先进性能。

ABSTRACT

We address the source-free domain adaptation (SFDA) problem, where only the source model is available during adaptation to the target domain. We consider two settings: the offline setting where all target data can be visited multiple times (epochs) to arrive at a prediction for each target sample, and the online setting where the target data needs to be directly classified upon arrival. Inspired by diverse classifier based domain adaptation methods, in this paper we introduce a second classifier, but with another classifier head fixed. When adapting to the target domain, the additional classifier initialized from source classifier is expected to find misclassified features. Next, when updating the feature extractor, those features will be pushed towards the right side of the source decision boundary, thus achieving source-free domain adaptation. Experimental results show that the proposed method achieves competitive results for offline SFDA on several benchmark datasets compared with existing DA and SFDA methods, and our method surpasses by a large margin other SFDA methods under online source-free domain adaptation setting.

研究动机与目标

• 解决在无源域自适应（SFDA）中因缺乏源数据而带来的域偏移挑战。
• 开发一种在离线和在线 SFDA 设置中均有效的模型，重点关注更具现实意义的在线场景。
• 消除对伪标签或数据生成的依赖，以避免其对错误敏感及计算成本高的问题。
• 实现对流式目标数据的直接、单次遍历适应，适用于实时应用。
• 在不访问源数据或生成合成样本的前提下，提升特征与源分类器的一致性。

提出的方法

• 在预训练后冻结源分类器的分类头，将其决策边界作为自适应的固定锚点。
• 引入一个从源分类器初始化的辅助‘诱饵’分类器，用于检测被错误分类的目标特征。
• 使用对比损失（$\mathcal{L}_{cast}$）训练诱饵分类器，以促使它在不确定的目标样本上做出不同预测。
• 使用损失（$\mathcal{L}_{bite}$）更新特征提取器，以促使目标特征能被诱饵分类器和源分类器同时正确分类。
• 采用基于熵的划分方法，将每个小批量中的样本划分为确定和不确定样本，以指导学习过程。
• 使用类别平衡损失（$\mathcal{L}_b$）以稳定训练，并在类别不平衡的目标数据上提升泛化能力。

Figure 1: Illustration of training process. The top shows that the source-training model fails on target domain due to domain shift. The bottom illustrates our adaptation process. (a): splitting feature in current batch into 2 groups by the prediction entropy $H$ and the threshold $\tau$ , (b) then

实验结果

研究问题

• RQ1 固定的源分类器能否在无源域自适应中作为稳定的决策边界锚点？
• RQ2 在无源数据的情况下，辅助的‘诱饵’分类器能否有效识别并纠正被错误分类的目标特征？
• RQ3 所提出的方法是否在性能上优于现有 SFDA 方法，尤其是在在线（单次遍历）自适应设置中？
• RQ4 该方法对超参数（如熵阈值 $\tau$）的敏感性如何？
• RQ5 该方法是否能在不依赖伪标签或数据生成的前提下实现具有竞争力的性能？

主要发现

• 在基准数据集的离线 SFDA 设置中，BAIT 表现具有竞争力，性能与使用源数据的现有方法相当或更优。
• 在在线 SFDA 设置中，BAIT 在所有三个 Office-Home 任务中显著优于 SHOT 这一强基线方法。
• 消融实验表明，$\mathcal{L}_{cast}$ 和 $\mathcal{L}_{bite}$ 均至关重要，当二者分别移除时，性能分别下降至 45% 和 8%。
• 该方法对熵阈值 $\tau$ 的选择具有鲁棒性，在 25%、75% 和 100% 不确定样本集选择下均表现出最小的性能下降。
• t-SNE 可视化结果表明，BAIT 生成的特征聚类更紧凑且更具判别性，且与源类别原型对齐良好。
• BAIT 在在线自适应中表现更优，其中模型必须在单次遍历中完成数据分类，证明了其在实时系统中的实用性。

Figure 2: Toy experiment on the twinning moon 2D dataset. The blue points refer to target data. The green and gray refer to source data. Decision boundaries after training model only on the source data and testing on source (a) and target (b) data. (c) After stage 1 training in the middle of adaptat