[论文解读] Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation

Wen Zhang, Dongrui Wu|arXiv (Cornell University)|Dec 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 5

一句话总结

本文提出了一种新型域自适应方法——判别性联合概率最大均值差异（DJP-MMD），该方法同时最小化类间联合概率分布差异以提升可迁移性，并最大化类间差异以增强判别性。在联合概率域自适应框架中评估，DJP-MMD在六个图像分类数据集上优于传统的基于MMD的方法，实现了更高的准确率、更快的收敛速度以及更强的鲁棒性。

ABSTRACT

Maximum mean discrepancy (MMD) has been widely adopted in domain adaptation to measure the discrepancy between the source and target domain distributions. Many existing domain adaptation approaches are based on the joint MMD, which is computed as the (weighted) sum of the marginal distribution discrepancy and the conditional distribution discrepancy; however, a more natural metric may be their joint probability distribution discrepancy. Additionally, most metrics only aim to increase the transferability between domains, but ignores the discriminability between different classes, which may result in insufficient classification performance. To address these issues, discriminative joint probability MMD (DJP-MMD) is proposed in this paper to replace the frequently-used joint MMD in domain adaptation. It has two desirable properties: 1) it provides a new theoretical basis for computing the distribution discrepancy, which is simpler and more accurate; 2) it increases the transferability and discriminability simultaneously. We validate its performance by embedding it into a joint probability domain adaptation framework. Experiments on six image classification datasets demonstrated that the proposed DJP-MMD can outperform traditional MMDs.

研究动机与目标

• 为解决现有域自适应方法将边缘分布与条件分布差异分开处理的局限性，忽略更自然的联合概率分布差异。
• 通过同时提升可迁移性（最小化同类别域间差异）与判别性（最大化类间域间差异），改进域自适应性能。
• 提供一种理论严谨、更简单且更准确的替代方法，用于测量域分布偏移，替代传统的联合MMD。
• 通过在真实世界图像分类基准上的大量实验，验证所提DJP-MMD的有效性。

提出的方法

• DJP-MMD基于特征与标签的联合概率分布计算源域与目标域之间的差异，而非分别基于边缘分布与条件分布。
• 引入判别性组件，通过最大化不同类别在域之间的联合概率MMD，以增强类别可分性。
• 该方法嵌入到一个带有简单正则化的联合概率域自适应（JPDA）框架中，支持端到端优化。
• 该方法采用核化处理，以应对非线性域偏移，适用于深度学习与对抗学习场景。
• 通过超参数μ控制可迁移性与判别性之间的权衡，同时引入正则化参数λ。
• 利用t-SNE可视化与MMD距离追踪验证收敛性与特征分布对齐效果。

实验结果

研究问题

• RQ1 联合概率分布差异是否能比边缘与条件MMD提供更准确且更简单的域偏移度量？
• RQ2 同时优化可迁移性与判别性是否能带来更好的域自适应分类性能？
• RQ3 在准确率、收敛速度与鲁棒性方面，DJP-MMD相较于传统MMD方法表现如何？
• RQ4 所提方法在μ与λ超参数变化时的鲁棒性如何？
• RQ5 DJP-MMD能否有效对齐域间特征，同时保持类间可分性？

主要发现

• 在USPS+MNIST数据集上，DJP-MMD实现了60.68%的平均分类准确率，优于基线方法。
• 在Multi-PIE数据集上，JPDA收敛速度更快，平均MMD距离更低（46.12秒），优于JDA（94.46秒）与BDA（107.47秒），计算时间节省超过50%。
• 消融实验表明，引入判别性MMD（即DJP-MMD）显著优于仅优化可迁移性的JP-MMD与联合MMD基线方法。
• t-SNE可视化显示，JPDA有效对齐了同类别样本在域间分布，同时保持了不同类别间的清晰分离。
• 该方法对超参数μ ∈ [0.001, 0.2]与λ ∈ [0.01, 10]具有鲁棒性，在广泛参数范围内均保持高性能。
• 在全部六个数据集中，DJP-MMD始终优于传统MMD-based方法，证实其在度量域差异与提升分类准确率方面的优越性。