[论文解读] Virtual Mixup Training for Unsupervised Domain Adaptation

Xudong Mao, Yun Ma+3 more|arXiv (Cornell University)|May 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用 49

一句话总结

提出了 Virtual Mixup Training (VMT)，以在无监督域自适应中训练点之间强加局部 Lipschitz 性，从而改进基于 VADA 的模型，在六个基准测试上表现提升，尤其是 MNIST 到 SVHN。

ABSTRACT

We study the problem of unsupervised domain adaptation which aims to adapt models trained on a labeled source domain to a completely unlabeled target domain. Recently, the cluster assumption has been applied to unsupervised domain adaptation and achieved strong performance. One critical factor in successful training of the cluster assumption is to impose the locally-Lipschitz constraint to the model. Existing methods only impose the locally-Lipschitz constraint around the training points while miss the other areas, such as the points in-between training data. In this paper, we address this issue by encouraging the model to behave linearly in-between training points. We propose a new regularization method called Virtual Mixup Training (VMT), which is able to incorporate the locally-Lipschitz constraint to the areas in-between training data. Unlike the traditional mixup model, our method constructs the combination samples without using the label information, allowing it to apply to unsupervised domain adaptation. The proposed method is generic and can be combined with most existing models such as the recent state-of-the-art model called VADA. Extensive experiments demonstrate that VMT significantly improves the performance of VADA on six domain adaptation benchmark datasets. For the challenging task of adapting MNIST to SVHN, VMT can improve the accuracy of VADA by over 30\%. Code is available at \url{https://github.com/xudonmao/VMT}.

研究动机与目标

• 通过更好地强化簇假设来激励和改进无监督域自适应。
• 解决现有局部 Lipschitz 正则化仅覆盖训练点的局限性。
• 引入基于 mixup 的正则化，使 Lipschitz 约束扩展到数据点之间的区域。
• 通过在 mixup 中使用虚拟标签使其可应用于无监督域自适应。
• 证明 VMT 在标准域自适应基准测试上达到最先进的结果。

提出的方法

• 提出 Virtual Mixup Training (VMT)，以在数据点之间对训练样本及其虚拟标签强制线性变化。
• 在 mixup 公式中用虚拟标签（由分类器预测）替代真实标签，以适应无监督域自适应。
• 在 logits（softmax 之前的层）上进行 mixup 以提高稳定性，替代在概率上的 mixup。
• 将 VMT 与现有模型（特别是 VADA）在一个联合目标中结合，包含源/目标损失、VAT 和条件熵。
• 使用 Beta 分布的混合系数将样本及其虚拟标签形成凸组合，然后在 f(tilde{x}) 与 tilde{y} 之间惩罚 KL 散度。
• 可选地在 VMT 初始化后对目标域应用迭代细化阶段（DIRT-T），以进一步优化簇假设。

实验结果

研究问题

• RQ1 我们如何将局部 Lipschitz 约束扩展到训练样本之间的区域以实现无监督域自适应？
• RQ2 在 logits 上进行混合并使用虚拟标签是否比在概率上混合能提升稳定性和性能？
• RQ3 VMT 是否可以在多个域自适应基准上持续超越最先进的 VADA？
• RQ4 将 VMT 与虚拟对抗训练（VAT）和 DIRT-T 结合对目标域的簇聚与对齐有何影响？

主要发现

• VMT 提升了 VADA 在六个标准视觉域自适应基准上的表现。
• 在 logits 上进行混合比在概率上混合更稳定、准确性更高，尤其是在具有挑战性的 MNIST→SVHN 任务中。
• VMT 在若干任务上达到最先进的结果，并显著缩小与上限的目标训练分类器之间的差距（例如 MNIST→SVHN 在没有实例归一化的情况下）。
• 在许多场景中，将 VMT 与 DIRT-T 结合可进一步增强目标域的簇聚与对齐。
• VMT 的计算成本低于 VAT，同时与 VAT 共同使用时提供互补效益。