[论文解读] A Unified Framework for Structured Graph Learning via Spectral Constraints

Sandeep Kumar, Jiaxi Ying+2 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Graph Neural Networks参考文献 87被引用 50

一句话总结

本文提出一个统一框架，将高斯图形模型与谱图理论结合，通过对拉普拉斯矩阵和邻接矩阵的谱约束来学习具有预定义结构的图。

ABSTRACT

Graph learning from data represents a canonical problem that has received substantial attention in the literature. However, insufficient work has been done in incorporating prior structural knowledge onto the learning of underlying graphical models from data. Learning a graph with a specific structure is essential for interpretability and identification of the relationships among data. Useful structured graphs include the multi-component graph, bipartite graph, connected graph, sparse graph, and regular graph. In general, structured graph learning is an NP-hard combinatorial problem, therefore, designing a general tractable optimization method is extremely challenging. In this paper, we introduce a unified graph learning framework lying at the integration of Gaussian graphical models and spectral graph theory. To impose a particular structure on a graph, we first show how to formulate the combinatorial constraints as an analytical property of the graph matrix. Then we develop an optimization framework that leverages graph learning with specific structures via spectral constraints on graph matrices. The proposed algorithms are provably convergent, computationally efficient, and practically amenable for numerous graph-based tasks. Extensive numerical experiments with both synthetic and real data sets illustrate the effectiveness of the proposed algorithms. The code for all the simulations is made available as an open source repository.

研究动机与目标

• 让人们理解为何需要学习具有可解释、预定义结构的图，而不是通用图。
• 开发一个可处理的优化框架，通过图矩阵的谱性质对结构约束进行强加。
• 通过将组合约束转化为对拉普拉斯矩阵和邻接矩阵的谱约束，统一学习与结构推断。
• 提供可收敛、适用于各种结构化图及真实数据集的高效算法。

提出的方法

• 将结构化图学习表述为最大化 log det(g Theta) 减去 trace(Theta S) 减去 alpha h(Theta)，其中 Theta 限制为拉普拉斯结构。
• 通过特征值集合对 Theta（拉普拉斯）和 Theta_A（邻接）施加谱约束，使 k-component、连通稀疏、d-正则以及共谱结构成为可能。
• 开发基于 BSUM/块逐步极大化最小化的算法来求解带约束的优化，最坏复杂度为 O(p^3)，与 GLasso 相当。
• 将形式专门化为对拉普拉斯谱约束的 SGL、对邻接谱约束的（用于二部图学习）以及联合拉普拉斯-邻接谱约束的 SGL-Joint。
• 利用特征分解 Theta = U Diag(lambda) U^T 和 Theta_A = V Diag(psi) V^T，并对 lambda 和 psi 设定适当的约束集合。
• 提供用于复现实验的开源代码：https://github.com/dppalomar/spectralGraphTopology

实验结果

研究问题

• RQ1 如何将组合性图结构约束改写为对图矩阵的分析性谱约束？
• RQ2 是否可以用一个统一的优化框架同时学习具有多种结构类（如多成分、二部图、正则等）的图？
• RQ3 在结构化图学习中，基于 BSUM 的算法能够达到怎样的收敛性质和计算效率？
• RQ4 在合成数据和真实数据上的聚类或网络推断等任务中，所提方法的表现如何？
• RQ5 联合拉普拉斯与邻接谱约束对复杂图结构有何影响？

主要发现

• 该框架将结构约束转化为对拉普拉斯矩阵和邻接矩阵的谱约束，实现可行的优化。
• 基于 BSUM 的算法在理论上收敛，且计算效率可与 GLasso（O(p^3)）相媲美。
• 该方法支持多种结构类别，包括 k-component、连通稀疏、d-正则和二部图，并可扩展到共谱场景。
• 在合成数据和真实数据上的广泛实验表明所提出的结构化图学习方法具有有效性。
• 提供开源代码用于复现实验与仿真。