[论文解读] GRASPEL: Graph Spectral Learning at Scale

Yongyu Wang, Zhiqiang Zhao+1 more|arXiv (Cornell University)|Nov 23, 2019

Advanced Graph Neural Networks参考文献 43被引用 6

一句话总结

GRASPEL 是一种可扩展的谱图学习方法，通过迭代识别并添加最具谱关键性的边，结合近乎线性时间的谱图稀疏化与降维技术，构建超稀疏且谱鲁棒的图。该方法在谱聚类和图恢复任务中达到最先进性能，图构建速度提升超过2,000倍，基准数据集上准确率提升14–18%。

ABSTRACT

Learning meaningful graphs from data plays important roles in many data mining and machine learning tasks, such as data representation and analysis, dimension reduction, data clustering, and visualization, etc. In this work, for the first time, we present a highly-scalable spectral approach (GRASPEL) for learning large graphs from data. By limiting the precision matrix to be a graph Laplacian, our approach aims to estimate ultra-sparse (tree-like) weighted undirected graphs and shows a clear connection with the prior graphical Lasso method. By interleaving the latest high-performance nearly-linear time spectral methods for graph sparsification, coarsening and embedding, ultra-sparse yet spectrally-robust graphs can be learned by identifying and including the most spectrally-critical edges into the graph. Compared with prior state-of-the-art graph learning approaches, GRASPEL is more scalable and allows substantially improving computing efficiency and solution quality of a variety of data mining and machine learning applications, such as spectral clustering (SC), and t-Distributed Stochastic Neighbor Embedding (t-SNE). {For example, when comparing with graphs constructed using existing methods, GRASPEL achieved the best spectral clustering efficiency and accuracy.

研究动机与目标

• 解决现有图学习方法在大规模数据集上因每轮迭代时间复杂度为O(N²)而导致的可扩展性瓶颈。
• 开发一种图学习框架，在保持超稀疏图结构以提升计算效率的同时，保留输入数据的谱特性。
• 通过学习能够编码原始数据点相似性的谱嵌入的图，实现高质量的谱聚类与图恢复。
• 利用近期发展的近乎线性时间谱图算法，使大规模图的稠密化与优化成为可能。
• 为高维数据提供一种鲁棒且可扩展的替代方案，以取代传统的k-NN和基于图Lasso的图学习方法。

提出的方法

• 将图学习表述为类似图Lasso的优化问题，其中精度矩阵被约束为类似图拉普拉斯矩阵的形式。
• 在强制谱稳定性的同时，最大化前几项拉普拉斯特征值以及边上的信号平滑性，通过二次型约束实现。
• 利用近乎线性时间的谱稀疏化与降维技术，识别并仅包含最具谱关键性的边。
• 交错执行谱嵌入与图优化步骤，迭代提升谱稳定性和信号平滑性。
• 从初始的超稀疏图（如uNN图）出发，基于谱影响逐步稠密化，直至谱特性稳定后终止。
• 确保最终图的谱嵌入距离能够反映原始数据点之间的内在相似性。

实验结果

研究问题

• RQ1 能否设计一种图学习方法，在保持谱特性以支持下游任务的同时，实现对大规模数据集的高效可扩展性？
• RQ2 如何将谱稀疏化与降维技术整合进图学习流程，以同时保持图的鲁棒性与计算效率？
• RQ3 与标准的k-NN图或稠密图相比，通过谱准则学习得到的超稀疏图在谱聚类与图恢复任务中的准确率能提升多少？
• RQ4 基于谱影响的迭代稠密化是否能产生比均匀k-NN图更鲁棒、更均衡的聚类切分？
• RQ5 所提出的方法是否能在不牺牲解质量的前提下，实现图构建与特征分解的显著加速？

主要发现

• 在USPS数据集上，GRASPEL在谱聚类中的准确率较第二好的方法提升了超过18%，在COIL20数据集上提升了超过13%。
• 在MNIST数据集上，GRASPEL相较于标准k-NN图在准确率上提升了超过14%，同时将图构建时间减少了6倍以上。
• 使用GRASPEL学习得到的图进行MNIST谱聚类，耗时不足3秒，相比标准k-NN方法（耗时超过6,000秒）实现了2,000倍的速度提升。
• 在MNIST的一个子集上，谱聚类的标准化互信息（NMI）从0.012提升至0.863；在完整的USPS数据集上，NMI从0.612提升至0.884。
• 在MNIST子集上，聚类准确率（ACC）从16.1%提升至90.0%；在USPS数据集上，从40.4%提升至90.6%，展现出显著的性能提升。
• GRASPEL学习得到的图因其谱设计对输入扰动具有鲁棒性，与近期关于谱鲁棒性对对抗样本的发现一致。