[论文解读] A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation

Jian Liang, Yunbo Wang+3 more|arXiv (Cornell University)|Mar 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 5

一句话总结

本文提出 BA3US，一种新颖的局部域适应方法，通过平衡对抗对齐（BAA）与自适应不确定性抑制（AUS），解决负迁移与不确定性传播问题。BAA 通过使用采样源域数据增强目标域，平衡类别分布；AUS 则利用置信度加权的补集熵目标函数，抑制错误类别上的高预测分数，从而在多个基准上实现最先进性能。

ABSTRACT

This work addresses the unsupervised domain adaptation problem, especially in the case of class labels in the target domain being only a subset of those in the source domain. Such a partial transfer setting is realistic but challenging and existing methods always suffer from two key problems, negative transfer and uncertainty propagation. In this paper, we build on domain adversarial learning and propose a novel domain adaptation method BA$^3$US with two new techniques termed Balanced Adversarial Alignment (BAA) and Adaptive Uncertainty Suppression (AUS), respectively. On one hand, negative transfer results in misclassification of target samples to the classes only present in the source domain. To address this issue, BAA pursues the balance between label distributions across domains in a fairly simple manner. Specifically, it randomly leverages a few source samples to augment the smaller target domain during domain alignment so that classes in different domains are symmetric. On the other hand, a source sample would be denoted as uncertain if there is an incorrect class that has a relatively high prediction score, and such uncertainty easily propagates to unlabeled target data around it during alignment, which severely deteriorates adaptation performance. Thus we present AUS that emphasizes uncertain samples and exploits an adaptive weighted complement entropy objective to encourage incorrect classes to have uniform and low prediction scores. Experimental results on multiple benchmarks demonstrate our BA$^3$US surpasses state-of-the-arts for partial domain adaptation tasks. Code is available at \url{https://github.com/tim-learn/BA3US}.

研究动机与目标

• 为解决局部域适应中源域独有类别误导目标域对齐的问题。
• 为缓解源域中错误类别高预测分数导致的不确定性传播问题。
• 通过目标域增强，将局部域适应问题转化为更易处理的无监督域适应任务。
• 通过联合优化类别分布平衡与不确定性抑制，提升模型鲁棒性与准确率。

提出的方法

• BAA 在对抗训练过程中，通过随机采样少量源域样本增强较小的目标域，平衡类别分布，确保跨域类别表征对称。
• AUS 引入一种自适应加权补集熵损失，强调低置信度样本，并促使错误类别预测分数趋于均匀且较低。
• 该方法将 BAA 与 AUS 整合进基于域对抗网络的统一框架，利用梯度反转实现域对齐。
• 采用类别级加权策略过滤源域独有类别，聚焦共享类别进行适应。
• 模型采用置信度加权的补集熵目标函数，根据预测置信度动态调整，抑制不确定性传播。
• 训练过程涉及迭代优化，结合自适应采样率 ρ 与周期性重估类别权重 m，以提升对齐效果与泛化能力。

实验结果

研究问题

• RQ1 使用少量源域样本增强目标域是否能有效平衡类别分布并减少局部域适应中的负迁移？
• RQ2 错误类别高预测分数导致的不确定性传播如何影响域对齐？是否可被缓解？
• RQ3 一种强调低置信度样本的自适应补集熵目标函数是否能提升局部域适应中的泛化性能？
• RQ4 所提方法是否能在 Office-Home 与 Office31 等标准局部域适应基准上实现最先进性能？
• RQ5 不确定性抑制机制是否在局部域适应之外也有效，包括标准闭集域适应任务？

主要发现

• BA3US 在 Office-Home 与 Office31 基准上实现最先进性能，Office31 数据集中 Ar→Cl 准确率达 75.98%，A→D 达 97.81%。
• 该方法对超参数选择具有鲁棒性，在 β 与 ξ 的不同取值下均保持稳定性能，表明敏感度较低。
• 自适应补集熵目标函数相比标准补集熵（ξ=0）提升 0.4–0.5% 准确率，证明其有效性。
• t-SNE 可视化显示，BA3US 生成的特征更具判别性且域对齐性更强，优于基线方法。
• 收敛性分析表明，BA3US 收敛迅速，且在 1,000 次迭代后显著优于 E-DANN 与 'source only' 基线。
• 该方法在具有挑战性的局部域适应任务上相较现有 SOTA 方法取得显著提升，最高达 1.5% 准确率增益。