[论文解读] Deep Domain Adaptation by Geodesic Distance Minimization

Yifei Wang, Wen Li+2 more|arXiv (Cornell University)|Jul 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 19被引用 5

一句话总结

本文提出了一种名为 Deep LogCORAL 的新型无监督域自适应方法，该方法将 Deep CORAL 中的欧氏距离替换为协方差矩阵黎曼流形上的对数-欧几里得测地距离，同时最小化均值向量差异。该方法通过结合一阶和二阶统计信息实现更优的域对齐，在 Office 基准测试上实现了 SOTA 性能，相较于 Deep CORAL 平均准确率提升 0.39%。

ABSTRACT

In this paper, we propose a new approach called Deep LogCORAL for unsupervised visual domain adaptation. Our work builds on the recently proposed Deep CORAL method, which proposed to train a convolutional neural network and simultaneously minimize the Euclidean distance of convariance matrices between the source and target domains. We propose to use the Riemannian distance, approximated by Log-Euclidean distance, to replace the naive Euclidean distance in Deep CORAL. We also consider first-order information, and minimize the distance of mean vectors between two domains. We build an end-to-end model, in which we minimize both the classification loss, and the domain difference based on the first and second order information between two domains. Our experiments on the benchmark Office dataset demonstrate the improvements of our newly proposed Deep LogCORAL approach over the Deep CORAL method, as well as further improvement when optimizing both orders of information.

研究动机与目标

• 解决无监督视觉域自适应中的域偏移问题，即源域和目标域的数据分布存在差异。
• 通过将 Deep CORAL 中协方差矩阵之间的欧氏距离替换为更合适的黎曼流形上的测地距离，改进 Deep CORAL 方法。
• 在二阶统计信息（协方差矩阵）的基础上，引入一阶统计信息（均值向量），以实现更鲁棒的域对齐。
• 证明联合最小化一阶和二阶域差异可提升模型泛化能力。

提出的方法

• 将 Deep CORAL 中源域与目标域协方差矩阵之间的欧氏距离替换为对数-欧几里得距离，以近似正半定矩阵黎曼流形上的测地距离。
• 提出一种基于对数-欧几里得距离的新 LogCORAL 损失函数，用于最小化特征空间中的域差异。
• 增加均值距离损失，以最小化源域与目标域均值向量之间的差异，灵感来源于最大均值差异（MMD）。
• 构建一个端到端的深度神经网络，联合优化分类损失、LogCORAL 损失和均值损失。
• 利用协方差矩阵的黎曼几何特性，更好地建模二阶统计信息的内在结构。
• 采用对数-欧几里得框架，高效计算协方差矩阵之间的测地距离。

实验结果

研究问题

• RQ1 将协方差矩阵黎曼流形上的欧氏距离替换为测地距离，是否能提升域自适应性能？
• RQ2 在域自适应中，结合一阶统计信息（均值向量）与二阶统计信息（协方差矩阵）是否具有优势？
• RQ3 在训练过程中，对数-欧几里得距离损失与均值距离损失之间存在何种相关性？联合优化是否能获得更优结果？
• RQ4 所提出的方法是否能在 Office 等标准基准数据集上超越现有 SOTA 方法？

主要发现

• 所提出的 Deep LogCORAL 方法在 Office 数据集上相较于原始 Deep CORAL 方法实现了 0.39% 的平均准确率提升。
• 仅最小化 LogCORAL 损失即可在基线卷积神经网络基础上提升性能，证明了在黎曼流形上使用测地距离的有效性。
• 仅最小化均值损失也能提升准确率，表明一阶统计信息对域对齐具有信息价值。
• 联合优化 LogCORAL 损失与均值损失可获得最佳性能，证实两种损失具有互补性且相关性较弱。
• 训练曲线的可视化显示，优化一种损失不会降低另一种损失，验证了其独立性，从而支持联合优化。
• 该方法收敛更快且泛化能力更强，A-W 域偏移下的学习曲线可证明这一点。