[论文解读] Graph Signal Processing -- Part I: Graphs, Graph Spectra, and Spectral Clustering

Ljubiša Stanković, Danilo P. Mandic+4 more|arXiv (Cornell University)|Jul 8, 2019

Advanced Graph Neural Networks被引用 11

一句话总结

本文通过线性代数形式化图拓扑，提出了一套图信号处理的基础框架，通过图拉普拉斯矩阵和邻接矩阵的特征分解实现谱分析。该框架建立了基于拉普拉斯特征映射的谱聚类与降维方法，证明了在顶点重排下图结构与信号特性得以保持，关键结果表明费德勒向量在基于归一化割的聚类与嵌入映射中具有重要应用价值。

ABSTRACT

The area of Data Analytics on graphs promises a paradigm shift as we approach information processing of classes of data, which are typically acquired on irregular but structured domains (social networks, various ad-hoc sensor networks). Yet, despite its long history, current approaches mostly focus on the optimization of graphs themselves, rather than on directly inferring learning strategies, such as detection, estimation, statistical and probabilistic inference, clustering and separation from signals and data acquired on graphs. To fill this void, we first revisit graph topologies from a Data Analytics point of view, and establish a taxonomy of graph networks through a linear algebraic formalism of graph topology (vertices, connections, directivity). This serves as a basis for spectral analysis of graphs, whereby the eigenvalues and eigenvectors of graph Laplacian and adjacency matrices are shown to convey physical meaning related to both graph topology and higher-order graph properties, such as cuts, walks, paths, and neighborhoods. Next, to illustrate estimation strategies performed on graph signals, spectral analysis of graphs is introduced through eigenanalysis of mathematical descriptors of graphs and in a generic way. Finally, a framework for vertex clustering and graph segmentation is established based on graph spectral representation (eigenanalysis) which illustrates the power of graphs in various data association tasks. The supporting examples demonstrate the promise of Graph Data Analytics in modeling structural and functional/semantic inferences. At the same time, Part I serves as a basis for Part II and Part III which deal with theory, methods and applications of processing Data on Graphs and Graph Topology Learning from data.

研究动机与目标

• 建立图拓扑的统一线性代数形式化框架，以支持在不规则结构化域上的数据分析。
• 证明图矩阵（拉普拉斯矩阵与邻接矩阵）的特征值与特征向量具有与图结构相关的物理意义，如割集、随机游走与邻域关系。
• 基于图拉普拉斯特征分析，发展谱聚类与降维技术，实现稳健的数据关联与分割。
• 证明图信号处理在顶点重排下仍能保持结构描述符，克服经典方法的局限性。
• 为第二部分与第三部分奠定理论基础，重点聚焦于图上的信号处理与从数据中学习拓扑结构。

提出的方法

• 利用图拉普拉斯矩阵与邻接矩阵的特征分解，提取图拓扑的谱描述符。
• 应用幂法高效计算主导特征向量，包括通过归一化拉普拉斯矩阵计算费德勒向量。
• 采用基于费德勒向量（拉普拉斯矩阵的第二小特征值对应的特征向量）的谱聚类方法，依据归一化割准则对顶点进行聚类划分。
• 通过拉普拉斯特征映射实现顶点的降维，将顶点映射到低维谱空间，以保持局部结构。
• 引入两种嵌入映射：基于拉普拉斯矩阵伪逆的 hitting time（首次 hitting 时间）映射与基于归一化拉普拉斯矩阵幂次的扩散映射。
• 使用归一化特征向量与多种归一化方案（如 L2、二值化、边际归一化）以提升聚类与可视化效果。

实验结果

研究问题

• RQ1 如何通过线性代数形式化图拓扑，以支持在不规则域上的数据分析？
• RQ2 图拉普拉斯矩阵与邻接矩阵的特征值与特征向量中编码了哪些物理与结构信息？
• RQ3 如何系统地从图拉普拉斯矩阵的特征分解推导谱聚类，以实现稳健的顶点划分？
• RQ4 谱嵌入在顶点重排或变换下，以何种方式保持图结构与信号特性？
• RQ5 如何将图信号处理扩展至直接在图结构化数据上支持降维、估计与聚类？

主要发现

• 由图拉普拉斯矩阵第二小特征值导出的费德勒向量，可通过归一化割准则实现顶点的最优双聚类划分。
• 基于费德勒向量的谱聚类即使在顶点排序被置换时，仍能实现高质量的分割，优于经典聚类方法。
• 拉普拉斯特征映射能保持图中局部邻域关系，实现图结构化数据的有效降维与可视化。
• 基于拉普拉斯矩阵伪逆与矩阵幂次分别导出的首次 hitting 时间映射与扩散映射，为图距离提供了有意义的几何解释。
• 对谱向量（如 L2、二值化、边际归一化）进行归一化能显著提升聚类性能与可视化清晰度。
• 该框架可在不同顶点排序下保持图描述符的一致性与同构性，确保数据分析流程的鲁棒性。