[论文解读] Large Margin Nearest Neighbor Classification using Curved Mahalanobis Distances

Frank Nielsen, Shao, Laetitia|arXiv (Cornell University)|Sep 22, 2016

Automated Road and Building Extraction参考文献 6被引用 2

一句话总结

该论文通过学习曲率马氏距离，将大型边缘最近邻（LMNN）框架扩展至双曲和椭圆Cayley-Klein几何，证明了Cayley-Klein Voronoi图是仿射的且等价于裁剪的幂图，并引入了一种混合椭圆-双曲距离，相较于常曲率模型，在基准数据集上提升了分类准确率。

ABSTRACT

Hilbert geometry is a metric geometry that extends the hyperbolic Cayley-Klein geometry. In this video, we explain the shape of balls and their properties in a convex polygonal Hilbert geometry. First, we study the combinatorial properties of Hilbert balls, showing that the shapes of Hilbert polygonal balls depend both on the center location and on the complexity of the Hilbert domain but not on their radii. We give an explicit description of the Hilbert ball for any given center and radius. We then study the intersection of two Hilbert balls. In particular, we consider the cases of empty intersection and internal/external tangencies.

研究动机与目标

• 将LMNN算法扩展至双曲Cayley-Klein几何，该问题在现有文献中尚未被探讨。
• 研究Cayley-Klein Voronoi图与球在非欧几里得空间中的计算几何性质。
• 开发并评估一种混合椭圆-双曲Cayley-Klein距离，以建模具有可变曲率的数据。
• 证明Cayley-Klein几何中的曲率马氏距离可被高效计算并用于k-NN分类。
• 为在监督分类任务中使用非欧几里得度量学习建立理论基础。

提出的方法

• 使用具有不定符号矩阵的双线性形式，将双曲和椭圆Cayley-Klein距离重新表述为曲率马氏距离。
• 通过Cholesky分解或LDLT分解对双线性形式进行规范化，将数据映射至标准椭圆或双曲射影空间。
• 证明Cayley-Klein平分线为仿射（裁剪）超平面，从而可通过等价的幂图算法实现高效的Voronoi图构造。
• 表明Cayley-Klein球体具有马氏距离类似的形状，但其中心相对于原点发生偏移，提供了中心偏移的显式公式。
• 通过将边缘约束和损失函数适配至非欧几里得度量，将LMNN优化框架扩展至双曲几何。
• 引入线性混合距离：d(x,y) = αdE(x,y) + (1−α)dH(x,y)，并通过交叉验证调优α以平衡椭圆与双曲分量。

实验结果

研究问题

• RQ1 LMNN框架能否成功扩展至双曲Cayley-Klein几何？其与椭圆版本相比表现如何？
• RQ2 Cayley-Klein Voronoi图是否为仿射图？能否通过幂图算法高效计算？
• RQ3 Cayley-Klein球体是否保留马氏距离类似的几何特性？若如此，其几何中心相对于原点的偏移如何？
• RQ4 通过可学习混合方式结合椭圆与双曲度量，是否能提升分类性能，优于单一曲率模型？
• RQ5 Cayley-Klein几何中的曲率马氏距离能否支持高效的最近邻查询与可扩展学习？

主要发现

• 所提出的双曲LMNN扩展成功在双曲Cayley-Klein几何中学习到曲率马氏距离，使非欧几里得空间中的有效度量学习成为可能。
• Cayley-Klein Voronoi图是仿射的，且可从等价的（裁剪）幂图中构造，从而可利用标准几何数据结构实现高效计算。
• Cayley-Klein球体表现出类似马氏距离的形状，但其中心相对于原点发生偏移，且提供了中心偏移的显式公式。
• 混合椭圆-双曲距离模型在五个基准数据集（Wine, Sonar, Balance, Pima, Vowel）上实现了更优的分类性能，其中在Vowel数据集上达到最高准确率0.841，在Balance数据集上达到0.920。
• 混合模型中的超参数α高度依赖于数据集，最优值范围从Sonar的0.206到Vowel的0.593，表明曲率混合模型比常曲率模型更能适应数据结构。
• 理论与实证结果共同表明，将正负曲率几何混合可生成非恒定曲率的黎曼流形，其对复杂数据分布的建模能力优于常曲率替代方案。