[论文解读] Diffusion maps, spectral clustering and reaction coordinates of dynamical systems

Boaz Nadler, Stéphane Lafon+2 more|ArXiv.org|Mar 22, 2005

Topological and Geometric Data Analysis参考文献 15被引用 4

一句话总结

本文提出扩散映射作为高维动力系统中降维、谱聚类及反应坐标识别的统一框架。通过在不同归一化方式的数据图上构建随机游走，该方法渐近地恢复了福克-普朗克或拉普拉斯-贝尔特里米奥利算子的特征函数，从而能够从采样数据中识别出慢变量和几何结构。

ABSTRACT

A central problem in data analysis is the low dimensional representation of high dimensional data, and the concise description of its underlying geometry and density. In the analysis of large scale simulations of complex dynamical systems, where the notion of time evolution comes into play, important problems are the identification of slow variables and dynamically meaningful reaction coordinates that capture the long time evolution of the system. In this paper we provide a unifying view of these apparently different tasks, by considering a family of {\em diffusion maps}, defined as the embedding of complex (high dimensional) data onto a low dimensional Euclidian space, via the eigenvectors of suitably defined random walks defined on the given datasets. Assuming that the data is randomly sampled from an underlying general probability distribution $p(\x)=e^{-U(\x)}$, we show that as the number of samples goes to infinity, the eigenvectors of each diffusion map converge to the eigenfunctions of a corresponding differential operator defined on the support of the probability distribution. Different normalizations of the Markov chain on the graph lead to different limiting differential operators. One normalization gives the Fokker-Planck operators with the same potential U(x), best suited for the study of stochastic differential equations as well as for clustering. Another normalization gives the Laplace-Beltrami (heat) operator on the manifold in which the data resides, best suited for the analysis of the geometry of the dataset, regardless of its possibly non-uniform density.

研究动机与目标

• 通过将扩散映射、谱聚类与动力系统中的反应坐标识别相联系，统一高维数据的分析。
• 解决在具有多时间尺度的系统中识别低维、具有动力学意义的变量的挑战。
• 建立离散图上随机游走与流形上连续微分算子之间理论联系的基础。
• 阐明图拉普拉斯矩阵的不同归一化方式如何对应不同的底层随机过程及其几何解释。
• 通过从数据中识别慢变量与亚稳态，实现对复杂系统的高效粗粒化。

提出的方法

• 使用扩散核（如高斯核）从数据点构建加权图，以定义点之间的转移概率。
• 通过归一化参数 α 定义图上的随机游走族，从而生成不同的马尔可夫链。
• 对每种归一化方式计算转移矩阵的特征向量与特征值，作为低维嵌入。
• 当样本数 N → ∞ 且带宽 ε → 0 时，离散算子收敛于随机过程的无穷小生成元。
• 推导不同 α 值下的极限后向与前向福克-普朗克算子，表明其收敛于 Δφ − 2(1−α)∇φ·∇U。
• 将所得特征函数与底层数据流形的几何结构（拉普拉斯-贝尔特里米奥利算子）、密度（归一化拉普拉斯算子）或动力学（福克-普朗克算子）联系起来。

实验结果

研究问题

• RQ1 如何利用扩散映射在高维动力系统中识别慢变量与反应坐标？
• RQ2 图拉普拉斯矩阵的归一化方式与它所逼近的极限随机过程之间有何关系？
• RQ3 扩散映射的特征向量如何收敛于数据流形上微分算子的特征函数？
• RQ4 底层概率密度 p(x) = e^{-U(x)} 在随机游走渐近行为中起什么作用？
• RQ5 图拉普拉斯矩阵的不同归一化方式能否恢复不同的算子（如福克-普朗克 vs. 拉普拉斯-贝尔特里米奥利），以适用于不同的数据分析任务？

主要发现

• 当 α = 1/2 时，归一化图拉普拉斯矩阵收敛于具有势能 2U(x) 的后向福克-普朗克算子，使其特别适合谱聚类。
• 当 α = 1 时，各向异性的归一化导致收敛于具有势能 U(x) 的后向福克-普朗克算子，与底层随机微分方程的动力学相匹配。
• 当 α = 0 时，该归一化方式产生拉普拉斯-贝尔特里米奥利算子的特征函数，无论密度如何，均能捕捉数据流形的内在几何结构。
• 在一般条件下，特征向量收敛于微分算子特征函数的渐近收敛性已得到证明，适用于任意光滑核及其适当缩放。
• 该方法可通过提取扩散算子的前几个特征函数，准确识别出高维系统（如分子动力学）中的亚稳态与慢变量。
• 该框架支持快速模拟，因为可在慢变量方向上采用更大的积分步长，如在均质化与粗粒化中的应用所示。