[论文解读] HoMM: Higher-order Moment Matching for Unsupervised Domain Adaptation

Chao Chen, Zhihang Fu+5 more|arXiv (Cornell University)|Dec 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用 7

一句话总结

本文提出了一种新型无监督域自适应方法——高阶矩匹配（HoMM），通过匹配任意阶矩张量（特别是三阶和四阶矩）来泛化MMD和CORAL，实现更精细的域对齐。实验表明，HoMM显著优于现有矩匹配方法，在标准基准测试中，三阶与四阶矩匹配均达到最先进性能。

ABSTRACT

Minimizing the discrepancy of feature distributions between different domains is one of the most promising directions in unsupervised domain adaptation. From the perspective of distribution matching, most existing discrepancy-based methods are designed to match the second-order or lower statistics, which however, have limited expression of statistical characteristic for non-Gaussian distributions. In this work, we explore the benefits of using higher-order statistics (mainly refer to third-order and fourth-order statistics) for domain matching. We propose a Higher-order Moment Matching (HoMM) method, and further extend the HoMM into reproducing kernel Hilbert spaces (RKHS). In particular, our proposed HoMM can perform arbitrary-order moment tensor matching, we show that the first-order HoMM is equivalent to Maximum Mean Discrepancy (MMD) and the second-order HoMM is equivalent to Correlation Alignment (CORAL). Moreover, the third-order and the fourth-order moment tensor matching are expected to perform comprehensive domain alignment as higher-order statistics can approximate more complex, non-Gaussian distributions. Besides, we also exploit the pseudo-labeled target samples to learn discriminative representations in the target domain, which further improves the transfer performance. Extensive experiments are conducted, showing that our proposed HoMM consistently outperforms the existing moment matching methods by a large margin. Codes are available at \url{https://github.com/chenchao666/HoMM-Master}

研究动机与目标

• 解决现有无监督域自适应方法仅依赖一阶与二阶统计量（均值与协方差）的局限性，这些方法无法捕捉复杂且非高斯的特征分布。
• 探索高阶统计量（三阶与四阶矩）在更好地表征与对齐跨域非高斯深度特征分布方面的潜力。
• 提出一个统一框架，将MMD（一阶）与CORAL（二阶）泛化为任意阶矩匹配，以实现更优的域差异最小化。
• 提出一种基于可靠目标样本的伪标签策略，以在目标域中学习判别性聚类，增强特征判别能力。
• 通过在标准域自适应基准上的大量实验，证明HoMM的有效性，显示其相对于先前方法的一致性能提升。

提出的方法

• 提出高阶矩匹配（HoMM）作为统一框架，用于匹配源域与目标域之间任意阶数 p ∈ {1,2,3,4,...} 的矩张量。
• 将HoMM损失定义为源域与目标域特征的 p 阶矩张量之间差值的 L2 范数，以实现细粒度的分布匹配。
• 证明一阶HoMM退化为最大均值差异（MMD），二阶HoMM等价于相关对齐（CORAL），从而统一并泛化了这两种方法。
• 将HoMM扩展至再生核希尔伯特空间（RKHS），以支持基于核的高阶匹配，提升非线性分布对齐能力。
• 集成基于伪标签的目标样本的判别性聚类损失，其中使用高置信度预测形成聚类，以增强特征判别能力。
• 通过端到端训练优化完整目标函数，联合最小化域差异并提升泛化性能，结合HoMM损失、分类损失与聚类损失。

实验结果

研究问题

• RQ1 对于非高斯深度特征分布，高阶矩匹配（三阶与四阶）是否能提供优于一阶与二阶统计量的域对齐效果？
• RQ2 HoMM在不同矩阶数（p=1 到 p=10）下的性能表现如何？在域自适应任务中，最优阶数为何？
• RQ3 将HoMM扩展至RKHS是否能提升复杂非线性特征空间中的域对齐与泛化能力？
• RQ4 对可靠目标样本进行伪标签化是否能增强特征判别能力，并在缺乏真实标签的情况下提升迁移性能？
• RQ5 HoMM框架对超参数（如聚类损失权重与预测阈值）的敏感性如何？

主要发现

• 在SVHN→MNIST、Office-Home→VisDA与Office-31基准上，三阶与四阶矩匹配始终优于其他所有阶数的矩匹配方法，在SVHN→MNIST上分别达到96.5%与95.7%的测试准确率。
• 五阶矩匹配也表现强劲（SVHN→MNIST上为94.8%），但更高阶矩（p≥5）因小样本下估计性能差而性能下降。
• 所提出的HoMM方法在p=3时，在所有评估任务中均达到最先进性能，显著超越MMD、CORAL与CMD。
• 联合HoMM与聚类损失的完整模型（Full Loss）收敛更快，且在20,000次迭代时聚类损失激活后测试误差急剧下降，证实其有效性。
• 消融实验表明，聚类损失（L_dc）至关重要——移除后性能下降，且模型对超参数λ_dc敏感，表明其具有正则化作用。
• t-SNE可视化结果证实，与MMD和CORAL相比，HoMM生成的特征表示具有更好的对齐性与更强的判别性，类间分离更清晰，域偏移更小。