[论文解读] Dynamic Weighted Learning for Unsupervised Domain Adaptation

Ni Xiao, Lei Zhang|arXiv (Cornell University)|Mar 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 11

一句话总结

本文提出动态加权学习（DWL），一种新颖的无监督域自适应方法，通过基于实时监测对齐度与可分性程度，自适应地加权损失，动态平衡域对齐与类别可分性。此外，引入样本加权机制以缓解因域样本大小不平衡导致的模型偏差，在多个基准数据集上实现最先进性能，准确率显著提升。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to improve the classification performance on an unlabeled target domain by leveraging information from a fully labeled source domain. Recent approaches explore domain-invariant and class-discriminant representations to tackle this task. These methods, however, ignore the interaction between domain alignment learning and class discrimination learning. As a result, the missing or inadequate tradeoff between domain alignment and class discrimination are prone to the problem of negative transfer. In this paper, we propose Dynamic Weighted Learning (DWL) to avoid the discriminability vanishing problem caused by excessive alignment learning and domain misalignment problem caused by excessive discriminant learning. Technically, DWL dynamically weights the learning losses of alignment and discriminability by introducing the degree of alignment and discriminability. Besides, the problem of sample imbalance across domains is first considered in our work, and we solve the problem by weighing the samples to guarantee information balance across domains. Extensive experiments demonstrate that DWL has an excellent performance in several benchmark datasets.

研究动机与目标

• 解决无监督域自适应中因域对齐与类别可分性之间不平衡导致的负迁移问题。
• 缓解源域与目标域样本规模不平衡引发的模型偏差。
• 开发一种可扩展的动态加权机制，以适应不同跨域数据场景。
• 通过联合优化对齐与可分性，实现平衡且反馈驱动的特征表示质量提升。

提出的方法

• DWL利用反映对齐度与可分性实时程度的平衡因子 τ，动态调整域对齐与类别判别损失的权重。
• 对齐度通过源域与目标域特征之间的 MMD 距离衡量，可分性则通过分类器权重矩阵的最大 J(W) 值评估。
• 引入样本加权机制，以平衡样本量显著不同的域之间的优化影响。
• 动态平衡因子 τ 在训练过程中根据对齐与可分性的相对进展进行更新，实现自适应权衡。
• 该方法设计为即插即用，与现有域自适应模型兼容。
• 框架在训练全程监测对齐与可分性，并将这些度量反馈用于实时调整损失权重。

实验结果

研究问题

• RQ1 在无监督域自适应中，如何在训练过程中动态平衡域对齐与类别可分性？
• RQ2 源域与目标域之间的数据不平衡对模型收敛与性能有何影响？
• RQ3 对齐度与可分性程度的实时反馈机制能否提升特征表示质量？
• RQ4 在多样化的跨域场景中，动态损失加权与静态或固定加权策略相比表现如何？
• RQ5 样本加权在多大程度上可缓解因域大小不平衡导致的模型偏差？

主要发现

• 在 W→A 任务中，DWL 在同时采用样本加权与动态平衡时达到 69.8% 的准确率，较基线提升 1.9 个百分点。
• 在 Digits 数据集上，动态加权机制（τ:1−τ）在 M→U 和 U→M 任务中分别实现 97.3% 与 97.4% 的准确率，优于静态的 1:1 和 9:1 比例。
• 在 USPS→MNIST 任务中，动态平衡因子 τ 在首个训练周期内降至 0.5 以下，表明对可分性的强调更强，这与较小的域偏移和初始可分性差一致。
• 混淆矩阵可视化显示，与 Source-only 相比，使用 DWL 后误分类现象（如 dog→bike 和 horse 混淆）显著减少。
• 消融实验表明，样本加权与动态平衡均不可或缺，二者结合可实现最高准确率增益。
• DWL 中 MMD 距离下降而 J(W) 值上升，表明域对齐与类别可分性得到有效协同优化。