[论文解读] Geometric structure of graph Laplacian embeddings

Nicolás García Trillos, Franca Hoffmann+1 more|arXiv (Cornell University)|Jan 30, 2019

Topological and Geometric Data Analysis参考文献 13被引用 9

一句话总结

本文证明，在流形上的良好分离混合模型下，图拉普拉斯嵌入在低维空间中集中于正交锥上，从而确保谱聚类的成功。通过连续极限与最优传输方法，证明当连接尺度 ε 随 n 缓慢衰减时，以高概率嵌入数据点形成适合 k-均值聚类的结构。

ABSTRACT

We analyze the spectral clustering procedure for identifying coarse structure in a data set $x_1, \dots, x_n$, and in particular study the geometry of graph Laplacian embeddings which form the basis for spectral clustering algorithms. More precisely, we assume that the data is sampled from a mixture model supported on a manifold $\mathcal{M}$ embedded in $\mathbb{R}^d$, and pick a connectivity length-scale $\varepsilon>0$ to construct a kernelized graph Laplacian. We introduce a notion of a well-separated mixture model which only depends on the model itself, and prove that when the model is well separated, with high probability the embedded data set concentrates on cones that are centered around orthogonal vectors. Our results are meaningful in the regime where $\varepsilon = \varepsilon(n)$ is allowed to decay to zero at a slow enough rate as the number of data points grows. This rate depends on the intrinsic dimension of the manifold on which the data is supported.

研究动机与目标

• 理解谱聚类中图拉普拉斯嵌入在非不连通流形之外的几何结构。
• 形式化一种仅依赖于数据分布、而不依赖于图构造参数的“良好分离”混合模型概念。
• 证明在良好分离模型下，拉普拉斯嵌入在嵌入空间中诱导出正交锥结构。
• 利用最优传输与偏微分方程技术，建立连续谱几何与离散图拉普拉斯之间的桥梁。
• 确立在嵌入数据上进行 k-均值聚类能正确识别原始数据粗粒度结构的条件。

提出的方法

• 引入流形上具有混合测度的拉普拉斯-贝特拉米算子作为图拉普拉斯嵌入的连续类比。
• 基于底层测度的几何与谱性质，定义一种不依赖于核选择的“良好分离”混合模型。
• 利用最优传输与 Wasserstein 距离，比较离散嵌入测度与其连续极限之间的差异。
• 应用椭圆算子的谱分析与偏微分方程技术，刻画连续拉普拉斯算子的低阶特征函数。
• 在适当缩放下，建立图拉普拉斯与连续拉普拉斯谱之间的近似误差界。
• 借助图拉普拉斯收敛于连续极限的最新结果，将离散嵌入与连续极限联系起来，证明其在正交锥上的集中性。

实验结果

研究问题

• RQ1 在何种条件下，从流形上混合模型采样的数据集的图拉普拉斯嵌入会集中于正交锥结构？
• RQ2 如何内在地定义混合模型的“良好分离性”，使其独立于图构造参数（如 ε 或核选择）？
• RQ3 离散图拉普拉斯的谱嵌入与流形上连续拉普拉斯之间有何关系？
• RQ4 当 n 增大时，连接尺度 ε 的衰减速率多快，仍能保持嵌入中的正交锥结构？
• RQ5 正交锥结构在多大程度上能确保在嵌入数据上进行 k-均值聚类可恢复混合模型的真实成分？

主要发现

• 当混合模型良好分离时，图拉普拉斯嵌入以高概率集中于围绕正交向量的正交锥上。
• 离散与连续拉普拉斯特征函数之间的嵌入误差在流形内在维数 m 下以 O( log(n)^{p_m} / n^{1/m} ) 的速率衰减。
• 离散嵌入下数据测度的推送像与连续嵌入之间的 Wasserstein 距离被 O( sqrt(φ) ) 有界，其中 φ 衡量谱近似误差。
• 正交锥结构在正交变换下保持不变，确保了嵌入空间中旋转的鲁棒性。
• 当 ε(n) 衰减足够缓慢时，离散嵌入测度 F_{nlat}ν_n 以高概率呈现正交锥结构，其衰减速率取决于流形的内在维数。
• 结果在非平凡设置中为谱聚类提供了理论依据，表明在嵌入上进行 k-均值聚类可成功恢复原始数据的真正粗粒度结构。