[论文解读] Diffusion Maps, Spectral Clustering and Eigenfunctions of Fokker-Planck operators

Boaz Nadler, Stéphane Lafon+2 more|ArXiv.org|Jun 6, 2005

Complex Network Analysis Techniques参考文献 27被引用 303

一句话总结

本文提出了一种基于扩散过程的概率框架，将谱聚类与通过归一化图拉普拉斯矩阵的特征向量实现的降维解释为具有反射边界条件的福克-普朗克算子特征函数的近似。该研究证明，使用前k个特征向量构成的扩散图在基于扩散距离的均方误差准则下是最优的，并通过将特征结构与随机过程中的亚稳态状态和平均 hitting 时间相联系，为谱聚类提供了理论基础。

ABSTRACT

This paper presents a diffusion based probabilistic interpretation of spectral clustering and dimensionality reduction algorithms that use the eigenvectors of the normalized graph Laplacian. Given the pairwise adjacency matrix of all points, we define a diffusion distance between any two data points and show that the low dimensional representation of the data by the first few eigenvectors of the corresponding Markov matrix is optimal under a certain mean squared error criterion. Furthermore, assuming that data points are random samples from a density $p(\x) = e^{-U(\x)}$ we identify these eigenvectors as discrete approximations of eigenfunctions of a Fokker-Planck operator in a potential $2U(\x)$ with reflecting boundary conditions. Finally, applying known results regarding the eigenvalues and eigenfunctions of the continuous Fokker-Planck operator, we provide a mathematical justification for the success of spectral clustering and dimensional reduction algorithms based on these first few eigenvectors. This analysis elucidates, in terms of the characteristics of diffusion processes, many empirical findings regarding spectral clustering algorithms.

研究动机与目标

• 通过数据图上的扩散过程，为谱聚类与降维提供概率解释。
• 建立基于扩散距离的均方误差准则下，通过马尔可夫矩阵前k个特征向量实现的低维嵌入是最优的。
• 证明有限马尔可夫矩阵的特征向量在大样本极限下是具有势函数2U(x)和反射边界条件的福克-普朗克算子特征函数的离散近似。
• 通过福克-普朗克算子的特征值与特征函数，将谱聚类性能与数据的几何结构和密度联系起来。
• 通过随机动力系统中亚稳态状态与平均退出时间的视角，解释谱聚类的实证成功。

提出的方法

• 基于图上随机游走定义点之间的扩散距离，使用由高斯核导出并经度归一化的转移矩阵M。
• 证明由马尔可夫矩阵M的前k个特征向量构成的扩散图，在相对于该扩散距离的均方误差准则下是最优的。
• 将数据点建模为有界区域上密度p(x) = e^{-U(x)}的独立同分布样本，从而导出具有势函数2U(x)和反射边界条件的福克-普朗克算子。
• 证明当数据点数量增加时，有限矩阵M的特征向量收敛于连续福克-普朗克算子的特征函数。
• 利用福克-普朗克算子特征值与特征函数的已知渐近结果，将谱隙与特征向量结构解释为亚稳态状态和聚类分离的体现。
• 将M的特征值谱隙λ_k与λ_{k+1}之间的差异与k个分离良好的聚类联系起来，其中特征函数在每个聚类内近似为常数。

实验结果

研究问题

• RQ1 如何通过数据图上的概率扩散过程来解释谱聚类与降维？
• RQ2 为何基于归一化图拉普拉斯矩阵前k个特征向量定义的扩散图在低维表示中是最优的？
• RQ3 在大样本极限下，其特征向量近似于有限马尔可夫矩阵特征函数的连续算子是什么？
• RQ4 福克-普朗克算子的特征值与特征函数如何解释谱聚类算法的实证成功？
• RQ5 谱聚类、亚稳态状态与随机动力系统中平均退出时间之间存在何种关系？

主要发现

• 使用马尔可夫矩阵M的前k个特征向量构成的扩散图，在基于点间扩散距离的均方误差准则下是最优的。
• 在大样本极限下，有限矩阵M的特征向量是具有势函数2U(x)和反射边界条件的福克-普朗克算子特征函数的离散近似。
• M的特征值谱隙——特别是λ_k与λ_{k+1}之间的显著差异——表明存在k个分离良好的聚类，且特征函数在每个聚类内近似为常数。
• 在小噪声极限下，福克-普朗克算子的最小非零特征值μ_1与从亚稳态状态的平均退出时间成反比，从而将谱结构与动力学时间尺度联系起来。
• 即使在均匀密度下，几何瓶颈（如细长管道）也会产生谱隙，表明仅由区域几何结构即可产生类似聚类的结构，这与切赫常数的联系可解释此现象。
• 福克-普朗克算子的第一特征向量在每个聚类内近似为分段常数，边界处有明显跃迁，解释了其在聚类中的有效性。