[论文解读] A Unified Joint Maximum Mean Discrepancy for Domain Adaptation

Wei Wang, Baopu Li+7 more|arXiv (Cornell University)|Jan 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用 8

一句话总结

该论文提出了一种统一的联合最大均值差异（JMMD）框架，通过推导出一种可计算且经过优化的JMMD形式，将边缘分布、类别条件分布以及加权类别条件分布的域自适应统一起来。该方法通过一种基于希尔伯特-施密特独立性（Hilbert-Schmidt independence）的新型MMD矩阵和一种鲁棒的标签核，缓解了特征-标签依赖性退化与标签分布偏移问题，在标准域自适应与分布鲁棒性基准上实现了最先进性能。

ABSTRACT

Domain adaptation has received a lot of attention in recent years, and many algorithms have been proposed with impressive progress. However, it is still not fully explored concerning the joint probability distribution (P(X, Y)) distance for this problem, since its empirical estimation derived from the maximum mean discrepancy (joint maximum mean discrepancy, JMMD) will involve complex tensor-product operator that is hard to manipulate. To solve this issue, this paper theoretically derives a unified form of JMMD that is easy to optimize, and proves that the marginal, class conditional and weighted class conditional probability distribution distances are our special cases with different label kernels, among which the weighted class conditional one not only can realize feature alignment across domains in the category level, but also deal with imbalance dataset using the class prior probabilities. From the revealed unified JMMD, we illustrate that JMMD degrades the feature-label dependence (discriminability) that benefits to classification, and it is sensitive to the label distribution shift when the label kernel is the weighted class conditional one. Therefore, we leverage Hilbert Schmidt independence criterion and propose a novel MMD matrix to promote the dependence, and devise a novel label kernel that is robust to label distribution shift. Finally, we conduct extensive experiments on several cross-domain datasets to demonstrate the validity and effectiveness of the revealed theoretical results.

研究动机与目标

• 为解决在域自适应中联合最大均值差异（JMMD）缺乏统一且优化的公式化表达的问题，该问题受经验估计中复杂张量积算子的阻碍。
• 揭示标准JMMD会降低特征-标签依赖性（可分性），从而损害分类性能。
• 缓解在使用加权类别条件核时对目标域中标签分布偏移的敏感性，尤其是在类别不平衡数据集中的情况。
• 提出一种基于希尔伯特-施密特独立性准则（HSI）的新型MMD矩阵，以增强特征-标签相关性。
• 设计一种对标签分布偏移具有鲁棒性的标签核。

提出的方法

• 通过不同标签核的选择，推导出一种统一的JMMD解析形式，使其能将边缘分布、类别条件分布和加权类别条件分布作为特例统一涵盖。
• 引入一种基于希尔伯特-施密特独立性准则（HSI）推导出的新型MMD矩阵 $\mathbf{M}^*$，以促进特征-标签依赖性，并抵消标准JMMD引起的可分性退化。
• 提出一种新型标签核 $\mathbf{K}_{yy}^4$，通过引入类别先验概率，降低目标域中标签分布偏移带来的敏感性。
• 通过单一超参数 $\delta$ 优化统一的JMMD目标，以平衡标准JMMD与HSI增强的MMD分量。
• 在PCA、SVM、LP、NCP和DA基线方法上，将统一框架应用于标准场景与标签分布偏移场景，以进行评估。
• 通过使用真实标签的消融研究，验证了特征分布距离与HSI度量的改进。

实验结果

研究问题

• RQ1 能否推导出一种统一的JMMD数学公式，使其能将边缘分布、类别条件分布和加权类别条件分布的域自适应作为特例统一涵盖？
• RQ2 标准JMMD是否会导致特征-标签依赖性下降？如果是，如何在优化过程中缓解这种退化？
• RQ3 加权类别条件JMMD是否对目标域中的标签分布偏移敏感？这种敏感性能否通过核设计降低？
• RQ4 基于希尔伯特-施密特独立性准则的新型MMD矩阵是否能有效增强域自适应中的特征-标签相关性？
• RQ5 所提出方法在标准与分布鲁棒性域自适应任务中，对不同超参数（尤其是 $\delta$）的鲁棒性如何？

主要发现

• 所提出的统一JMMD框架在Office10-Caltech10数据集的6个标准域自适应任务中实现了最先进性能，其中WWC*在D2上达到86.7%的准确率，优于先前方法。
• 在标签分布偏移场景下，WWC*变体在D2上达到81.0%的准确率，显著优于次优方法（78.3%），展现出对分布偏移的鲁棒性。
• 消融研究证实，所提出的基于HSI的MMD矩阵 ($\mathbf{M}^*$) 有效增强了特征-标签相关性，表现为特征嵌入中HSI距离的降低。
• 敏感性分析表明，最优性能始终在 $\delta = 0.1$ 附近实现，表明超参数行为稳定且鲁棒。
• 统一框架揭示了标准JMMD会降低特征-标签依赖性，而该退化可通过所提出的HSI增强MMD矩阵与鲁棒标签核得到缓解。
• 所提出的标签核 $\mathbf{K}_{yy}^4$ 在标签分布偏移下有效减少了特征分布的错位，如可视化与定量比较所示。