[论文解读] Gradually Vanishing Bridge for Adversarial Domain Adaptation

Shuhao Cui, Shuhui Wang+4 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 15

一句话总结

本文提出梯度消失桥（GVB），一种新颖的域自适应方法，通过逐步缩小学习到的桥向量 γ 的范围，以抑制特征表示中的域特定特征。通过强制使 γ 趋近于零，GVB 改进了域对齐并减少了目标域中的误分类，实现了在标准基准上的最先进性能，且分布偏移极小。

ABSTRACT

In unsupervised domain adaptation, rich domain-specific characteristics bring great challenge to learn domain-invariant representations. However, domain discrepancy is considered to be directly minimized in existing solutions, which is difficult to achieve in practice. Some methods alleviate the difficulty by explicitly modeling domain-invariant and domain-specific parts in the representations, but the adverse influence of the explicit construction lies in the residual domain-specific characteristics in the constructed domain-invariant representations. In this paper, we equip adversarial domain adaptation with Gradually Vanishing Bridge (GVB) mechanism on both generator and discriminator. On the generator, GVB could not only reduce the overall transfer difficulty, but also reduce the influence of the residual domain-specific characteristics in domain-invariant representations. On the discriminator, GVB contributes to enhance the discriminating ability, and balance the adversarial training process. Experiments on three challenging datasets show that our GVB methods outperform strong competitors, and cooperate well with other adversarial methods. The code is available at https://github.com/cuishuhao/GVB.

研究动机与目标

• 为解决基于桥接的域自适应方法中残余域特定特征的问题。
• 减少学习到的桥向量 γ 中域特定特征的影响，以改善特征对齐。
• 最小化源域和目标域中 γ 的整体范围，以抑制噪声或困难样本。
• 通过更有效地分离域不变与域特定成分，提升域泛化能力。
• 通过减少残余域特征导致的误分类，提升目标域分类准确率。

提出的方法

• 提出一种新的损失函数 ℒ_G，通过最小化所有样本中桥向量 γ_i 的 L1 范数，促使 γ_i 接近零。
• 引入梯度消失桥（GVB）机制，逐步减小 γ_i 的范围，以抑制域特定信息。
• 将 GVB 应用于生成器 G_*, 定义为 G_*(x_i) = G_2(G_1(x_i)) - G_3(G_1(x_i))，以解耦域不变与域特定特征。
• 采用对抗性训练，对齐源域和目标域中表示 ri 的分布。
• 采用三流生成器架构，其中 G_1 学习共享特征，G_2 和 G_3 分别建模域特定和桥接组件。
• 将中间域之外的点视为困难样本或噪声数据，聚焦于最小化 γ 以降低其负面影响。

实验结果

研究问题

• RQ1 如何有效抑制桥向量 γ 中的域特定特征，以改善域对齐？
• RQ2 γ 范围对域不变表示质量和目标域分类质量有何影响？
• RQ3 γ 向量范数的渐进式最小化能否在对抗性域自适应中带来更好的泛化性能？
• RQ4 与现有基于桥接的方法相比，所提出的 GVB 机制在处理困难样本方面的鲁棒性如何？
• RQ5 减小 γ 的范围在多大程度上改善了域不变与域特定特征的分离？

主要发现

• 所提出的 GVB 损失显著减小了桥向量 γ 的范围，从而产生更清晰的域不变表示。
• 最小化 γ 的范数可抑制域特定特征，降低其对分类器和表示学习的负面影响。
• 适应后，更多数据点被包含在中间域内，表明对齐效果得到改善。
• 中间域之外的点被有效视为困难样本或噪声数据，其负面影响因 γ 的抑制而降低。
• 实验结果验证，与基线方法相比，GVB 在目标域中显著降低了误分类概率。
• 可视化结果表明，GVB 改进了特征分布对齐，尤其在中间域空间中表现更优。