[论文解读] Manifold Learning with Geodesic Minimal Spanning Trees

Jose A. Costa, Alfred O. Hero|ArXiv.org|Jul 16, 2003

Morphological variations and asymmetry参考文献 30被引用 24

一句话总结

该论文提出了一种新颖的几何概率方法——测地最小生成树（Geodesic-Minimal Spanning Tree, GMST），在不重建流形或估计密度的前提下，同时估计数据流形的内在维数和Rényi α-熵。该方法通过完整图中的测地距离构建最小生成树，然后利用不同重采样数据规模下最小生成树长度的标度行为，通过线性最小二乘法和矩法估计维数和熵，实现一致估计，时间复杂度为O(N log N)。

ABSTRACT

In the manifold learning problem one seeks to discover a smooth low dimensional surface, i.e., a manifold embedded in a higher dimensional linear vector space, based on a set of measured sample points on the surface. In this paper we consider the closely related problem of estimating the manifold's intrinsic dimension and the intrinsic entropy of the sample points. Specifically, we view the sample points as realizations of an unknown multivariate density supported on an unknown smooth manifold. We present a novel geometrical probability approach, called the geodesic-minimal-spanning-tree (GMST), to obtaining asymptotically consistent estimates of the manifold dimension and the Rényi $α$-entropy of the sample density on the manifold. The GMST approach is striking in its simplicity and does not require reconstructing the manifold or estimating the multivariate density of the samples. The GMST method simply constructs a minimal spanning tree (MST) sequence using a geodesic edge matrix and uses the overall lengths of the MSTs to simultaneously estimate manifold dimension and entropy. We illustrate the GMST approach for dimension and entropy estimation of a human face dataset.

研究动机与目标

• 开发一种一致、全局的方法，从i.i.d.样本点估计光滑流形的内在维数和Rényi α-熵。
• 避免流形重建或多元密度估计的需求，这些方法计算量大且对噪声敏感。
• 为现有的局部或全局流形学习技术提供一种简单、无参数的替代方案，用于维数和熵的估计。
• 在真实世界数据（如人脸图像流形）上展示该方法的一致性和实际应用价值。

提出的方法

• 使用全局测地距离矩阵（例如通过ISOMAP或C-ISOMAP）在所有样本点之间构建完整测地图。
• 通过修剪完整图至总测地长度最小，计算测地最小生成树（GMST），以连接所有点。
• 多次在不断增加的数据规模n下重采样，生成一系列平均GMST长度。
• 将平均GMST长度与n的对数-对数关系建模为线性关系，利用斜率和截距估计内在维数和Rényi α-熵。
• 应用线性最小二乘法拟合对数-对数模型，并使用矩法估计维数m和熵H，其中βm在m较大时进行近似。
• 在测地距离矩阵中固定边指数γ = 1，以确保一致的标度行为。

实验结果

研究问题

• RQ1 是否存在一种全局、无参数的方法，能够从i.i.d.样本中同时估计流形的内在维数和内在熵？
• RQ2 在不同重采样数据规模下，测地最小生成树长度的标度行为是否能为流形维数和Rényi α-熵提供一致的估计？
• RQ3 与现有的ISOMAP或局部方法相比，GMST方法在准确性和计算复杂度方面表现如何？
• RQ4 log(GMST长度)与log(n)之间的线性标度在渐近意义上是否成立？该关系在真实世界数据（如人脸图像）中是否成立？

主要发现

• 对于Yale Face Database B中的三位个体，GMST方法估计的内在维数m分别为5至6之间，具体值为6、5和6。
• 对应的内在Rényi α-熵（以2为底）估计值分别为70.4、68.8和73.8比特，表明每个面部流形可用约6个参数建模。
• GMST长度与n的对数-对数图在n ≥ 500时表现出明显的线性关系，支持理论渐近模型，并验证了线性最小二乘拟合的有效性。
• 该方法实现了O(N log N)的计算复杂度，显著低于基于MDS的ISOMAP的O(N³)复杂度。
• 估计的熵值表明，面部流形具有高度可压缩性，其信息内容集中于低维结构中。
• 结果与理论框架一致，证明了该方法能够在不进行密度估计或流形重建的情况下，同时估计维数和熵。