[论文解读] Geometric Mean Metric Learning

Pourya Habib Zadeh, Reshad Hosseini+1 more|arXiv (Cornell University)|Jul 18, 2016

Face and Expression Recognition参考文献 21被引用 61

一句话总结

该论文提出了一种新型欧几里得度量学习方法——几何平均度量学习（Gmml），将问题表述为在对称正定矩阵的黎曼流形上的光滑、严格凸优化问题。通过矩阵几何平均，该方法实现了闭式解，使得计算速度比LMNN和ITML快几个数量级，同时在基准数据集上的分类准确率与之相当或更优。

ABSTRACT

We revisit the task of learning a Euclidean metric from data. We approach this problem from first principles and formulate it as a surprisingly simple optimization problem. Indeed, our formulation even admits a closed form solution. This solution possesses several very attractive properties: (i) an innate geometric appeal through the Riemannian geometry of positive definite matrices; (ii) ease of interpretability; and (iii) computational speed several orders of magnitude faster than the widely used LMNN and ITML methods. Furthermore, on standard benchmark datasets, our closed-form solution consistently attains higher classification accuracy.

研究动机与目标

• 开发一种新的、有理论依据的欧几里得度量学习方法，兼具计算高效性和几何可解释性。
• 将度量学习表述为在对称正定矩阵流形上的无约束、光滑、严格凸优化问题。
• 推导出一种闭式解，该解自然源于相似性与相异性矩阵的几何平均，确保全局最优性和可解释性。
• 在分类准确率和计算效率方面，验证该方法相对于 SOTA 方法（如 LMNN 和 ITML）的性能表现。
• 在高维和大规模训练样本的数据集上，展示方法的可扩展性和鲁棒性。

提出的方法

• 该方法将度量学习表述为在对称正定（SPD）矩阵的黎曼流形上最小化基于几何平均的目标函数。
• 提出了一种基于经验相似性与相异性矩阵的矩阵几何平均的闭式解，确保了解的唯一性与稳定性。
• 将优化问题转化为光滑、严格凸问题，无需迭代求解器即可保证唯一全局最小值。
• 利用黎曼几何自然地融入 SPD 约束，并将解解释为数据诱导矩阵的加权几何平均。
• 针对病态或不可逆的相似性矩阵，引入正则化变体，采用 Tikhonov 类型正则化，参数 λ=0.1。
• 在 MATLAB 中高效实现，并使用 k-NN 分类与 5 折交叉验证进行超参数调优。

实验结果

研究问题

• RQ1 基于几何原理的度量学习公式能否导出一种既可解释又计算高效的闭式解？
• RQ2 基于矩阵几何平均的闭式度量学习方法在分类准确率方面，与 LMNN 和 ITML 等迭代方法相比表现如何？
• RQ3 所提出的方法在数据维度和训练样本数量方面具有多大程度的可扩展性？
• RQ4 与基于凸优化的其他度量学习方法相比，SPD 流形上的几何平均公式是否具有内在的鲁棒性与稳定性？
• RQ5 当相似性矩阵为秩亏或不可逆时，该方法是否仍能保持高准确率？

主要发现

• 在所有测试数据集（包括 Letters、USPS、MNIST 和 Isolet）上，Gmml 的分类错误率与 LMNN 和 ITML 相当或更优。
• 在 Letters 和 USPS 数据集上，Gmml 达到了 LMNN 的最佳性能，而在其中一个数据集上显著优于 LMNN，在另一个上略逊于 LMNN。
• 在 Isolet 和 MNIST 数据集上，使用 1000c(c−1) 对数据对使 Gmml 的准确率分别提高了约 1% 和 0.5%，超越了 FlatGeo 方法。
• Gmml 的运行时间比 LMNN 和 ITML 快达三个数量级，其中 Letters 数据集的运行时间为 0.0137 秒，MNIST 数据集为 1.6795 秒，而 LMNN 的运行时间超过 400 秒。
• 该方法在所有数据集上均保持了计算效率，是所有测试方法中运行时间最短的，包括 FlatGeo 和 ITML。
• 带有 λ=0.1 的正则化版本 Gmml 成功处理了 MNIST 中不可逆的相似性矩阵，确保了性能的稳定性。