[论文解读] Divide to Adapt: Mitigating Confirmation Bias for Domain Adaptation of Black-Box Predictors

Jianfei Yang, Xiangyu Peng+5 more|arXiv (Cornell University)|May 28, 2022

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

该论文提出 BETA，一种用于黑箱预测器领域自适应（DABP）的新框架，通过将目标域划分为易于适应和难以适应的子域，缓解了确认偏差问题。结合基于高斯混合模型的损失聚类与引入数据增强和 MixMatch 的互教式孪网络，BETA 逐步净化噪声伪标签，在 VisDA-17 上相比先前方法实现了 7.0% 的相对性能提升，达到最先进水平。

ABSTRACT

Domain Adaptation of Black-box Predictors (DABP) aims to learn a model on an unlabeled target domain supervised by a black-box predictor trained on a source domain. It does not require access to both the source-domain data and the predictor parameters, thus addressing the data privacy and portability issues of standard domain adaptation. Existing DABP approaches mostly rely on model distillation from the black-box predictor, \emph{i.e.}, training the model with its noisy target-domain predictions, which however inevitably introduces the confirmation bias accumulated from the prediction noises. To mitigate such bias, we propose a new method, named BETA, to incorporate knowledge distillation and noisy label learning into one coherent framework. This is enabled by a new divide-to-adapt strategy. BETA divides the target domain into an easy-to-adapt subdomain with less noise and a hard-to-adapt subdomain. Then it deploys mutually-teaching twin networks to filter the predictor errors for each other and improve them progressively, from the easy to hard subdomains. As such, BETA effectively purifies the noisy labels and reduces error accumulation. We theoretically show that the target error of BETA is minimized by decreasing the noise ratio of the subdomains. Extensive experiments demonstrate BETA outperforms existing methods on all DABP benchmarks, and is even comparable with the standard domain adaptation methods that use the source-domain data.

研究动机与目标

• 为解决黑箱预测器领域自适应（DABP）中的确认偏差问题，即源预测器产生的噪声伪标签在知识蒸馏过程中累积误差。
• 实现对未标注目标数据的完全利用，避免如现有噪声标签学习方法那样对样本进行子集筛选。
• 从理论上证明通过最小化难以适应子域中的噪声比例，可降低目标域误差。
• 构建一个通过领域划分与互教机制，协同结合知识蒸馏与半监督学习的框架。
• 提出一种理论基础坚实、迭代进行的算法，逐步抑制 DABP 中的误差累积。

提出的方法

• 利用初始知识蒸馏后损失分布的高斯混合模型（GMM）拟合，将目标域划分为易于适应和难以适应的子域。
• 采用基于 MixMatch 的半监督学习方法，充分利用所有目标样本，将易于适应子域视为标注数据集，难以适应子域视为未标注数据集。
• 实施互教式孪网络，其中每个网络从另一网络的领域划分中学习，结合数据增强与 Mixup 以增加预测差异，提升错误过滤能力。
• 通过数据增强与 Mixup 对领域划分进行优化，强化孪网络间的分歧，实现相互纠错。
• 提出理论界，表明当难以适应子域中的噪声比例最小时，目标误差达到最小。
• 优化超参数（如领域划分的阈值 τ），以在子域大小与预测差异之间取得平衡。

实验结果

研究问题

• RQ1 基于损失分布聚类的领域划分能否有效分离 DABP 中的干净样本与噪声样本？
• RQ2 具有差异增强的孪网络之间的互教机制是否能减少确认偏差并提升泛化性能？
• RQ3 难以适应子域中的噪声比例如何影响最终目标误差？是否可进行理论界定？
• RQ4 结合知识蒸馏与半监督学习的框架是否能超越仅使用其中一种范式的现有 DABP 方法？
• RQ5 哪些超参数设置（如 τ）能在领域划分中实现子域大小与预测差异之间的最佳权衡？

主要发现

• BETA 在 VisDA-17 基准上相比最佳基线实现 7.0% 的相对性能提升，验证了其最先进性能。
• BETA 的误差率在 20 个训练周期内持续下降，而标准知识蒸馏因确认偏差导致早期性能停滞。
• 确认偏差显著降低，BETA 与知识蒸馏在难以适应子域上的误差差距约为 10%。
• 与消融实验组件相比，互教式孪网络分别带来 0.6%（孪网络）、1.1%（知识蒸馏）和 0.9%（互信息）的性能提升。
• 最优阈值 τ = 0.8 在子域大小与预测差异之间实现平衡，在 Office-Home（Cl → Pr）上达到 78.8% 的准确率，且随着 τ 增大，子域间交并比（IoU）下降，表明分歧增强。
• t-SNE 可视化显示，随着训练进行，类别聚类更加紧凑且分离更清晰，表明特征学习得到改善，混淆减少。