[论文解读] Structured Graph Learning Via Laplacian Spectral Constraints

Sandeep Kumar, Jiaxi Ying+2 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Graph Neural Networks被引用 16

一句话总结

该论文提出结构图学习（SGL），一种新颖的框架，将组合图结构约束转化为图拉普拉斯矩阵的特征值约束，从而实现高效且可证明收敛的优化。通过将谱特性与高斯图模型相结合，SGL可直接从样本协方差数据中学习稀疏、连通、聚类或规则图，其在真实和合成数据集（包括动物感知和癌症基因组学数据）上的表现优于最先进方法。

ABSTRACT

Learning a graph with a specific structure is essential for interpretability and identification of the relationships among data. It is well known that structured graph learning from observed samples is an NP-hard combinatorial problem. In this paper, we first show that for a set of important graph families it is possible to convert the structural constraints of structure into eigenvalue constraints of the graph Laplacian matrix. Then we introduce a unified graph learning framework, lying at the integration of the spectral properties of the Laplacian matrix with Gaussian graphical modeling that is capable of learning structures of a large class of graph families. The proposed algorithms are provably convergent and practically amenable for large-scale semi-supervised and unsupervised graph-based learning tasks. Extensive numerical experiments with both synthetic and real data sets demonstrate the effectiveness of the proposed methods. An R package containing code for all the experimental results is available at https://cran.r-project.org/package=spectralGraphTopology.

研究动机与目标

• 为解决结构图学习的NP难问题，通过将组合约束重新表述为图拉普拉斯矩阵的可分析特征值约束。
• 在单一谱优化框架内统一学习多种图族（如稀疏、连通、聚类或规则图）的方法。
• 开发一种计算高效、可证明收敛的算法，联合估计图结构与权重，无需预处理或后处理。
• 展示该方法在非高斯数据上的鲁棒性，以及在聚类和结构识别任务中优于最先进方法的性能。
• 提供开源R包以确保可复现性，并支持大规模学习应用中的实际部署。

提出的方法

• 该方法将结构图学习重新表述为图拉普拉斯矩阵特征值上的优化问题，将离散的结构约束（如连通性、聚类）转化为连续的谱约束。
• 利用图拉普拉斯谱特性与平滑图信号分析之间的联系，通过谱正则化引入先验信号信息。
• 核心优化问题将精度矩阵的对数行列式似然与一个谱正则化项相结合，以强制实现期望的特征值约束。
• 开发了一种基于交替方向乘子法（ADMM）的高效算法，确保大规模问题的收敛性与可扩展性。
• 通过调整谱约束，该框架可支持多种图族，例如通过强制最小特征值间隙实现k个组件的聚类，或通过固定零特征值数量实现连通性。
• 该方法以样本协方差矩阵作为输入，避免了对预计算相似性矩阵或阈值化步骤的需求。

实验结果

研究问题

• RQ1 结构图学习问题能否被重新表述为图拉普拉斯矩阵上的特征值约束优化问题？
• RQ2 对拉普拉斯特征值施加的谱约束能否有效编码多种图族，如聚类图、连通图或规则图？
• RQ3 基于谱约束的统一优化框架是否能在大规模图学习中同时实现理论收敛性和实际可扩展性？
• RQ4 在真实世界数据上，该方法在聚类准确率和结构可解释性方面与最先进图学习算法相比表现如何？
• RQ5 当底层高斯马尔可夫随机场（GMRF）假设被违反时，该方法在处理非高斯数据方面的能力有多大？

主要发现

• 在癌症基因组学数据集上，SGL算法的聚类准确率达到0.99875，优于最先进方法CLR（0.9862），证明其在联合结构与权重估计方面具有更优性能。
• 在动物感知数据集上，SGL在k=5时正确地将相似动物（如鳟鱼/鲑鱼、蜜蜂/蝴蝶）分入独立聚类，而GLasso和GGL因过度稀疏正则化导致图结构碎片化。
• SGL在k=1时生成了稀疏但连通的图，有效保持了全局连通性，同时实现了结构稀疏性，而标准方法常导致图被分割为多个连通分量。
• 该方法成功从非高斯分类数据（如动物特征）中学习到有意义的图结构，展现出超越高斯图模型高斯假设的鲁棒性。
• 所提出的算法具有可证明的收敛性与计算高效性，可支持大规模半监督和无监督图学习任务。
• 开源R包已在CRAN发布，提供完整的可复现性与实际部署支持，涵盖所有实验结果。