[论文解读] Correlation Alignment by Riemannian Metric for Domain Adaptation

Pietro Morerio, Vittorio Murino|arXiv (Cornell University)|May 23, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用 15

一句话总结

该论文提出 Log-D-Coral，一种端到端的深度域自适应方法，用黎曼流形上对称正定（SPD）矩阵的测地距离替代 Deep CORAL 中的欧氏距离。通过利用对数-欧氏黎曼度量，该方法实现了源域和目标域特征协方差更优的对齐，从而提升了分类准确率——在 Office 基准数据集上相较 Deep CORAL 平均提升 2.8%。

ABSTRACT

Domain adaptation techniques address the problem of reducing the sensitivity of machine learning methods to the so-called domain shift, namely the difference between source (training) and target (test) data distributions. In particular, unsupervised domain adaptation assumes no labels are available in the target domain. To this end, aligning second order statistics (covariances) of target and source domains have proven to be an effective approach ti fill the gap between the domains. However, covariance matrices do not form a subspace of the Euclidean space, but live in a Riemannian manifold with non-positive curvature, making the usual Euclidean metric suboptimal to measure distances. In this paper, we extend the idea of training a neural network with a constraint on the covariances of the hidden layer features, by rigorously accounting for the curved structure of the manifold of symmetric positive definite matrices. The resulting loss function exploits a theoretically sound geodesic distance on such manifold. Results show indeed the suboptimal nature of the Euclidean distance. This makes us able to perform better than previous approaches on the standard Office dataset, a benchmark for domain adaptation techniques.

研究动机与目标

• 解决在域自适应中使用欧氏距离衡量协方差矩阵差异时性能欠佳的问题。
• 认识到协方差矩阵天然位于黎曼流形（Sym++(n)）上，而非欧氏空间，因此需要采用流形感知的度量方法。
• 通过用理论更严谨的黎曼距离替代 Deep CORAL 中的弗罗贝尼乌斯范数，改进深度域自适应。
• 通过更稳定且有意义的协方差对齐损失，实现端到端训练。
• 证明考虑 SPD 矩阵内在几何结构可带来更好的泛化能力和收敛行为。

提出的方法

• 将 Deep CORAL 中基于弗罗贝尼乌斯范数的协方差损失替换为对称正定（SPD）矩阵流形上的对数-欧氏黎曼距离。
• 使用对数-欧氏度量，即通过 SPD 矩阵对数之间的欧氏距离计算测地距离。
• 构建新的损失函数：$ \alpha \cdot \| \log \Sigma_s - \log \Sigma_t \|_F^2 $，其中 $ \Sigma_s $ 和 $ \Sigma_t $ 分别为源域和目标域特征的协方差矩阵。
• 将此黎曼损失整合进端到端的深度神经网络训练流程中，与交叉熵分类损失联合优化。
• 在 Office 基准数据集上应用该方法，使用全连接层特征的批量协方差估计。
• 针对每种域偏移分别调优超参数 $ \alpha $ 和 $ \lambda $，通常 $ \alpha $ 比 $ \lambda $ 大一个数量级。

实验结果

研究问题

• RQ1 在对齐特征协方差时，用黎曼测地距离替代欧氏距离是否能提升域自适应性能？
• RQ2 在训练过程中，黎曼损失与标准弗罗贝尼乌斯范数损失相比，其稳定性和收敛行为如何？
• RQ3 SPD 流形上的测地距离是否能带来优于标准 CORAL 损失的泛化性能？
• RQ4 对数-欧氏度量是否是大规模域自适应中更复杂黎曼度量的计算可行且有效的替代方案？
• RQ5 在多大程度上，考虑协方差矩阵的内在几何结构能减少源域与目标域分布之间的域偏移？

主要发现

• Log-D-Coral 在 Office 基准数据集上实现了 61.4% 的平均准确率，相较 Deep CORAL 的 60.5% 提升了 2.8%。
• 该方法在 6 种域偏移划分中的 3 种上表现更优，且在不同源-目标组合中均表现出一致的性能增益。
• 对数-欧氏损失（$ L_{\log} $）在训练过程中收敛迅速，表现出更平稳、更可预测的行为；而基于弗罗贝尼乌斯范数的 $ L_{\text{CORAL}} $ 则呈现病态的线性增长和高噪声。
• $ L_{\text{CORAL}} $ 损失在收敛后仍表现出不稳定的振荡，表明其对权重更新的敏感性不足。
• SPD 矩阵流形上的测地距离相较于欧氏度量，能提供更合理且稳定的协方差差异度量。
• 实证结果证实，将协方差视为 $ \mathrm{Sym}^{++}(n) $ 中的元素并结合适当的黎曼几何，可实现更优的域对齐与更高的分类性能。