[论文解读] Improved spectral convergence rates for graph Laplacians on epsilon-graphs and k-NN graphs

Jeff Calder, Nicolás García Trillos|arXiv (Cornell University)|Oct 29, 2019

Spectral Theory in Mathematical Physics参考文献 54被引用 29

一句话总结

本文通过利用特征函数的正则性与强逐点一致性，建立了ε-图和k-NN图上图拉普拉斯算子的改进谱收敛速率。对于最优ε缩放，证明了特征值与特征向量的收敛速率为$ O(n^{-1/(m+4)}) $，包含对数因子，与逐点一致性速率一致，并优于先前对$ m \geq 5 $的$ O(n^{-1/2m}) $界。

ABSTRACT

In this paper we improve the spectral convergence rates for graph-based approximations of Laplace-Beltrami operators constructed from random data. We utilize regularity of the continuum eigenfunctions and strong pointwise consistency results to prove that spectral convergence rates are the same as the pointwise consistency rates for graph Laplacians. In particular, for an optimal choice of the graph connectivity $\varepsilon$, our results show that the eigenvalues and eigenvectors of the graph Laplacian converge to those of the Laplace-Beltrami operator at a rate of $O(n^{-1/(m+4)})$, up to log factors, where $m$ is the manifold dimension and $n$ is the number of vertices in the graph. Our approach is general and allows us to analyze a large variety of graph constructions that include $\varepsilon$-graphs and $k$-NN graphs.

研究动机与目标

• 解决图拉普拉斯算子在流形学习与机器学习应用中谱收敛速率不精确的问题。
• 克服先前工作中依赖次优收敛速率（特别是$ O(n^{-1/2m}) $）对特征值与特征向量的影响。
• 建立一个适用于ε-图与k-NN图的通用框架，统一分析中常见的图构造方法。
• 通过证明特征值收敛速率与逐点一致性速率一致，弥合图拉普拉斯算子逐点一致性与谱收敛之间的差距。
• 提供连接参数ε的最优缩放，以在正则性假设下实现最快可能的收敛速率。

提出的方法

• 利用连续特征函数的正则性特性，控制谱逼近中的误差。
• 应用图拉普拉斯算子的强逐点一致性结果，推导谱收敛速率。
• 通过最优传输方案，建立Wasserstein距离与特征函数逼近的$ L^2 $-误差之间的联系。
• 利用流形的双-Lipschitz划分构造局部坐标图块，并控制测度集中性。
• 应用Chernoff型不等式，控制小单元上经验测度的波动，确保一致收敛。
• 通过平衡图连通性（ε）与采样密度（n）之间的权衡，推导收敛速率，最优选择为$ \varepsilon \sim (\log n / n)^{1/(m+4)} $。

实验结果

研究问题

• RQ1 从ε-图与k-NN图构造的图拉普拉斯算子，其谱收敛的最优速率是什么？
• RQ2 连接参数ε的选择如何影响特征值与特征向量的收敛速率？
• RQ3 通过利用特征函数的正则性与逐点一致性结果，能否改进谱收敛速率？
• RQ4 图拉普拉斯算子的特征值收敛速率是否与算子的逐点一致性速率等价？
• RQ5 改进后的收敛速率$ O(n^{-1/(m+4)}) $是否在不同图构造（包括ε-图与k-NN图）中保持一致？

主要发现

• 对于最优缩放$ \varepsilon \sim \left(\frac{\log n}{n}\right)^{1/(m+4)} $的ε-图，图拉普拉斯算子的特征值以$ O(n^{-1/(m+4)}) $的速率收敛至Laplace-Beltrami算子，包含对数因子。
• 在$ L^2 $范数下，特征向量的收敛速率同样为$ O(n^{-1/(m+4)}) $，由于正则性与一致性结果建立的等价性，与特征值速率一致。
• 通过消除先前工作中存在的额外对数因子，新速率在所有$ m \geq 5 $下优于[21]的$ O(n^{-1/2m}) $界。
• 在流形假设与最优连通性缩放下，该收敛速率被证明是紧致的，且由随机几何图的连通性阈值结果所证实。
• 图拉普拉斯算子的逐点一致性蕴含谱收敛速率相同，建立了局部与全局收敛行为之间的直接联系。
• 该分析具有一般性，适用于ε-图与k-NN图，表明在这些广泛应用的构造中，相同的收敛速率成立。