[论文解读] Metric Learning on Manifolds

Max Aalto, Nakul Verma|arXiv (Cornell University)|Feb 5, 2019

Topological and Geometric Data Analysis参考文献 14被引用 6

一句话总结

本文提出了一种适用于全局微分同胚于欧几里得空间开子集的流形（广义曲面）的度量学习通用框架，通过学习保持内在几何结构的度量距离，实现了k-means聚类和k-NN分类性能的提升。该方法将度量学习算法扩展至非欧几里得空间，推导出样本复杂度率，并在真实世界网络和文本数据上使用双曲嵌入展示了显著的性能提升。

ABSTRACT

Recent literature has shown that symbolic data, such as text and graphs, is often better represented by points on a curved manifold, rather than in Euclidean space. However, geometrical operations on manifolds are generally more complicated than in Euclidean space, and thus many techniques for processing and analysis taken for granted in Euclidean space are difficult on manifolds. A priori, it is not obvious how we may generalize such methods to manifolds. We consider specifically the problem of distance metric learning, and present a framework that solves it on a large class of manifolds, such that similar data are located in closer proximity with respect to the manifold distance function. In particular, we extend the existing metric learning algorithms, and derive the corresponding sample complexity rates for the case of manifolds. Additionally, we demonstrate an improvement of performance in $k$-means clustering and $k$-nearest neighbor classification on real-world complex networks using our methods.

研究动机与目标

• 为非欧几里得数据表示（如嵌入在弯曲流形上的符号数据，例如文本、图）缺乏可泛化的度量学习方法提供解决方案。
• 开发一种理论基础扎实且可实际实现的广义曲面（即全局微分同胚于R^d开子集的流形）上的距离度量学习框架。
• 将经典度量学习算法（如metric-MMC、LMNN）扩展至流形上运行，同时保持理论上的样本复杂度率。
• 通过引入广义k-means算法和测地线距离近似方法，实现在非欧几里得流形上的有效聚类与分类。

提出的方法

• 该框架作用于广义曲面（GS），定义为微分同胚于R^d开子集的流形，通过单图册实现显式的几何计算。
• 通过将目标函数重新定义为流形上的测地线距离，将度量学习推广，用黎曼距离函数替代欧几里得范数。
• 提出一种新的k-means聚类算法，通过在流形上使用成对距离重述目标函数，避免依赖向量均值。
• 该方法包含一种测地线距离近似算法，用于估计广义曲面上的最短路径，这对评估度量学习性能至关重要。
• 推导出广义曲面上度量学习的理论样本复杂度率，将Verma & Branson（2015）的先前结果扩展至流形嵌入数据。
• 通过双曲嵌入（如双曲面模型）进行验证，并应用于20newsgroup、football、polbooks和adjnoun等真实世界数据集。

实验结果

研究问题

• RQ1 度量学习能否推广至非向量空间的非欧几里得流形（如双曲或曲面流形）？
• RQ2 如何重新表述k-means聚类算法，使其能在未定义质心概念的流形上运行？
• RQ3 广义曲面上度量学习的理论样本复杂度率是什么？与欧几里得设置相比有何差异？
• RQ4 在真实世界符号数据集上，流形上的度量学习能否显著提升k-NN分类和聚类的下游性能？
• RQ5 如何高效地近似广义曲面上的测地线距离，以支持实际的度量学习？

主要发现

• 在20newsgroup数据集上，基于双曲面嵌入的度量学习使标准化互信息（NMI）提升了0.015个单位（相对提升3%），优于标准双曲嵌入。
• 在football数据集上，度量学习后的双曲面模型在k-NN分类中达到0.25 ± 0.10的测试误差，显著优于欧几里得嵌入报告的0.79误差。
• 在adjnoun数据集上，度量学习将k-NN误差从0.55 ± 0.09（双曲）降低至0.49 ± 0.05，表明在多种数据集上均表现出一致的性能增益。
• 基于成对距离最小化的广义k-means算法成功实现了在缺乏向量空间结构的流形上的数据聚类。
• 通过学习使流形内在几何中聚类结构更易分离的度量，该框架在复杂网络数据集上实现了最先进性能。
• 推导出广义曲面上度量学习的理论样本复杂度率，并显示其与欧几里得情形一致，验证了该方法的泛化能力。