[论文解读] Balanced Distribution Adaptation for Transfer Learning

Jindong Wang, Yiqiang Chen+3 more|arXiv (Cornell University)|Jul 2, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用 23

一句话总结

本文提出平衡分布自适应（BDA）与加权BDA（W-BDA）用于迁移学习，通过自适应平衡边缘分布与条件分布差异，同时解决类别不平衡问题。BDA利用可学习的平衡因子μ动态加权分布差异，优于将两者同等对待的方法；W-BDA进一步通过自适应重加权类别，提升在类别不平衡数据集上的性能。

ABSTRACT

Transfer learning has achieved promising results by leveraging knowledge from the source domain to annotate the target domain which has few or none labels. Existing methods often seek to minimize the distribution divergence between domains, such as the marginal distribution, the conditional distribution or both. However, these two distances are often treated equally in existing algorithms, which will result in poor performance in real applications. Moreover, existing methods usually assume that the dataset is balanced, which also limits their performances on imbalanced tasks that are quite common in real problems. To tackle the distribution adaptation problem, in this paper, we propose a novel transfer learning approach, named as Balanced Distribution \underline{A}daptation~(BDA), which can adaptively leverage the importance of the marginal and conditional distribution discrepancies, and several existing methods can be treated as special cases of BDA. Based on BDA, we also propose a novel Weighted Balanced Distribution Adaptation~(W-BDA) algorithm to tackle the class imbalance issue in transfer learning. W-BDA not only considers the distribution adaptation between domains but also adaptively changes the weight of each class. To evaluate the proposed methods, we conduct extensive experiments on several transfer learning tasks, which demonstrate the effectiveness of our proposed algorithms over several state-of-the-art methods.

研究动机与目标

• 解决现有迁移学习方法将边缘分布与条件分布差异同等对待的局限性，从而在现实场景中实现更优性能。
• 解决迁移学习中常见但常被忽视的类别不平衡问题，即源域与目标域中类别分布不均导致模型性能下降。
• 提出统一框架BDA，通过自适应加权分布差异，将多种现有域自适应方法作为特例推广。
• 将BDA扩展为W-BDA，引入类别特定权重以实现分布自适应过程中的类别自适应加权，提升在类别不平衡数据集上的性能。

提出的方法

• 提出BDA，一种新型迁移学习方法，利用可学习的平衡因子μ来加权边缘与条件分布差异的贡献，实现两者的平衡。
• 将BDA建模为联合优化问题，通过MMD（最大均值差异）度量边缘与条件分布差异，并最小化其加权组合。
• 提出W-BDA作为BDA的扩展，将类别特定权重引入分布自适应过程，动态调整以应对类别不平衡分布。
• 在W-BDA中使用加权MMD损失，最小化分布差异的同时，通过自适应类别权重考虑类别不平衡问题。
• 使用梯度下降法优化BDA与W-BDA，并调节特征维度d与正则化参数λ等超参数。
• 证明BDA可涵盖现有方法（如JDA，当μ = 0.5时）与TCA（当μ = 0时），体现其通用性与灵活性。

实验结果

研究问题

• RQ1 如何通过自适应平衡源域与目标域之间边缘与条件分布差异的重要性，来提升迁移学习性能？
• RQ2 所提出的BDA方法在多大程度上能泛化现有域自适应技术，并在现实迁移学习任务中实现改进？
• RQ3 能否通过在分布自适应过程中引入自适应类别权重，有效处理迁移学习中的类别不平衡问题？
• RQ4 BDA中的平衡因子μ在不同迁移学习任务中（具有不同域差异）如何影响性能表现？
• RQ5 与标准BDA和JDA相比，W-BDA是否在类别不平衡数据集上始终实现性能提升？

主要发现

• BDA在所有评估的迁移学习任务中显著优于JDA与TCA，且在μ按任务调优时达到最佳性能，表明自适应加权的重要性。
• 在A → W任务中，最优μ为0.8，表明条件分布差异占主导；而在M → U任务中μ = 0.1，表明边缘分布更为关键，证明自适应加权的必要性。
• 在四个高度不平衡的任务（C→D、W→C、U→M、A→W）中，W-BDA的准确率高于BDA与JDA，较JDA最高提升2.89%（W→C）与3.39%（A→W）。
• 在平衡任务（C→A与CO1→CO2）中，W-BDA与BDA及JDA性能相当，表明其在平衡数据上无性能退化，具备鲁棒性。
• 敏感性分析表明，BDA与W-BDA对超参数d（特征维度）与λ（正则化）相对不敏感，支持其实际可用性。
• 结果证实，将边缘与条件分布同等对待（如JDA中所做）并非最优，而通过μ实现的自适应加权可带来一致的性能提升。