[论文解读] Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jun 3, 2021

Face and Expression Recognition被引用 7

一句话总结

本教程与综述全面概述了基于拉普拉斯的降维方法，包括谱聚类、拉普拉斯特征映射（Laplacian eigenmap）、局部保持投影（LPP）、图嵌入（graph embedding）以及扩散映射（diffusion maps）。它解释了这些技术如何利用图拉普拉斯矩阵来保持局部结构与非线性流形，重点在于通过拉普拉斯矩阵的特征分解，将数据嵌入低维空间，同时保持其几何关系。

ABSTRACT

This is a tutorial and survey paper for nonlinear dimensionality and feature extraction methods which are based on the Laplacian of graph of data. We first introduce adjacency matrix, definition of Laplacian matrix, and the interpretation of Laplacian. Then, we cover the cuts of graph and spectral clustering which applies clustering in a subspace of data. Different optimization variants of Laplacian eigenmap and its out-of-sample extension are explained. Thereafter, we introduce the locality preserving projection and its kernel variant as linear special cases of Laplacian eigenmap. Versions of graph embedding are then explained which are generalized versions of Laplacian eigenmap and locality preserving projection. Finally, diffusion map is introduced which is a method based on Laplacian of data and random walks on the data graph.

研究动机与目标

• 提供基于拉普拉斯的非线性降维技术的统一教程与综述。
• 阐明图拉普拉斯矩阵、邻接矩阵及其在保持局部几何结构中的理论基础。
• 解释关键方法之间的联系与区别：谱聚类、拉普拉斯特征映射、LPP、图嵌入与扩散映射。
• 提出针对新样本的扩展方法及核函数变体，以提升可扩展性与泛化能力。
• 突出实际应用，并强调基于扩散的方法的最新改进。

提出的方法

• 使用k近邻或ε-邻域方法构建加权邻接矩阵，以建模数据相似性。
• 将图拉普拉斯矩阵定义为 $ \boldsymbol{L} = \boldsymbol{D} - \boldsymbol{W} $，其中 $ \boldsymbol{D} $ 为度矩阵，$ \boldsymbol{W} $ 为邻接矩阵。
• 通过求解广义特征值问题 $ \boldsymbol{L} \boldsymbol{y} = \lambda \boldsymbol{D} \boldsymbol{y} $ 实现谱聚类，将数据嵌入低维子空间。
• 通过优化 $ \sum_{i,j} w_{ij} \| \boldsymbol{y}_i - \boldsymbol{y}_j \|^2 $ 实现拉普拉斯特征映射，最小化嵌入空间中邻近点之间的距离。
• 将局部保持投影（LPP）引入为拉普拉斯特征映射的线性近似，通过求解 $ \boldsymbol{Y} = \boldsymbol{A}^T \boldsymbol{X} $ 实现，其中 $ \boldsymbol{A} $ 由 $ \boldsymbol{L} $ 推导得出。
• 通过图嵌入方法进行泛化，求解 $ \boldsymbol{Y}^T \boldsymbol{M}^t \boldsymbol{Y} $，在约束 $ \boldsymbol{Y}^T \boldsymbol{Y} = \boldsymbol{I} $ 下进行，其中 $ \boldsymbol{M}^t $ 为变换后的拉普拉斯矩阵。
• 通过数据图上的随机游走过程引入扩散映射，利用 $ \boldsymbol{y}_i^{(t)} = [\lambda_1^t \boldsymbol{\psi}_1(i), \dots, \lambda_p^t \boldsymbol{\psi}_p(i)]^T $ 计算嵌入，时间步 $ t $ 作为尺度参数。

实验结果

研究问题

• RQ1 基于拉普拉斯的方法在降维过程中如何保持局部几何结构？
• RQ2 谱聚类与拉普拉斯特征映射在非线性特征提取中存在怎样的理论联系？
• RQ3 新样本扩展方法如何将拉普拉斯特征映射与谱聚类推广至新数据点？
• RQ4 扩散映射如何通过随机游走与时间演化的扩散过程对数据建模？
• RQ5 图嵌入与核函数变体如何泛化并统一LPP与拉普拉斯特征映射？

主要发现

• 图拉普拉斯矩阵通过邻接矩阵与度矩阵编码邻域关系，有效捕捉了局部流形结构。
• 谱聚类通过将数据嵌入归一化拉普拉斯矩阵的特征向量所定义的子空间，实现了更优的聚类分离效果。
• 拉普拉斯特征映射通过最小化嵌入空间中邻近点间平方距离之和，保持了局部几何结构。
• LPP通过从拉普拉斯矩阵导出的线性子空间对数据进行投影，提供了一种线性、快速且可扩展的替代方案，相较于非线性的拉普拉斯特征映射。
• 图嵌入通过广义拉普拉斯矩阵 $ \boldsymbol{M}^t $ 允许灵活的优化目标，从而泛化了拉普拉斯特征映射与LPP。
• 扩散映射通过随机游走对数据建模，其扩散距离 $ d^{(t)}(\boldsymbol{x}_i, \boldsymbol{x}_j) $ 等价于嵌入空间 $ \boldsymbol{y}_i^{(t)} $ 中的欧氏距离，时间参数 $ t $ 控制嵌入的尺度。