[论文解读] Graph Learning from Data under Structural and Laplacian Constraints

Hilmi E. Egilmez, Eduardo Pavéz+1 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Graph Neural Networks参考文献 53被引用 26

一句话总结

该论文提出了一种新颖的框架，通过在结构约束和拉普拉斯约束下估计图拉普拉斯矩阵，从数据中学习图结构，采用基于高斯-马尔可夫随机场（GMRFs）的概率方法。该方法将图学习表述为带有对数行列式和加权ℓ1-正则化的凸优化问题，在合成数据和真实世界数据实验中，其精度和效率均优于现有最先进方法。

ABSTRACT

Graphs are fundamental mathematical structures used in various fields to represent data, signals and processes. In this paper, we propose a novel framework for learning/estimating graphs from data. The proposed framework includes (i) formulation of various graph learning problems, (ii) their probabilistic interpretations and (iii) associated algorithms. Specifically, graph learning problems are posed as estimation of graph Laplacian matrices from some observed data under given structural constraints (e.g., graph connectivity and sparsity level). From a probabilistic perspective, the problems of interest correspond to maximum a posteriori (MAP) parameter estimation of Gaussian-Markov random field (GMRF) models, whose precision (inverse covariance) is a graph Laplacian matrix. For the proposed graph learning problems, specialized algorithms are developed by incorporating the graph Laplacian and structural constraints. The experimental results demonstrate that the proposed algorithms outperform the current state-of-the-art methods in terms of accuracy and computational efficiency.

研究动机与目标

• 解决当潜在关系未知或隐含时，从数据中学习图结构的挑战。
• 将图学习表述为高斯-马尔可夫随机场（GMRFs）的后验最大估计（MAP）问题，其中精度矩阵被约束为图拉普拉斯矩阵。
• 引入图连通性和稀疏性等结构约束，以提高模型的可解释性和性能。
• 开发专门的优化算法，在保持计算效率的同时，同时满足拉普拉斯和结构约束。
• 展示所提出的框架在精度和计算速度方面相对于现有最先进方法的优越性。

提出的方法

• 将图学习表述为最小化复合目标函数：Tr(ΘS) − log det(Θ) + ||Θ ⊙ H||₁，其中Θ为目标拉普拉斯矩阵，S为数据统计量（如经验协方差），H用于施加加权稀疏性。
• 引入三种类型的图拉普拉斯约束：广义（GGL）、对角占优（DDGL）和组合（CGL），分别对应不同类别的GMRFs。
• 采用概率解释：目标函数对应于GMRF精度矩阵的MAP估计，对数行列式项用于保证正定性，ℓ1-正则化项用于促进稀疏性。
• 开发块坐标下降算法（算法1和2），在约束下迭代更新拉普拉斯矩阵的行/列，确保收敛至最优解。
• 通过凸松弛和合适的初始化，将连通性和稀疏性约束融入优化过程，全程保持正定性。
• 利用舒尔补条件和子问题的最优性条件，确保收敛性和数值稳定性。

实验结果

研究问题

• RQ1 如何在强制实施连通性和稀疏性等结构约束的前提下，从数据中估计图拉普拉斯矩阵？
• RQ2 在拉普拉斯约束下，图学习的概率解释是什么？其与高斯-马尔可夫随机场（GMRFs）有何关联？
• RQ3 能否设计出凸优化框架，以同时满足多种拉普拉斯和结构约束，实现图结构和权重的联合学习？
• RQ4 所提出的算法在精度和计算效率方面与现有最先进图学习方法相比如何？
• RQ5 在给定约束下，所提出的块坐标下降算法的理论收敛性保证是什么？

主要发现

• 所提出的框架在各种合成数据和真实世界数据集上，图估计的精度均高于现有最先进方法。
• 算法表现出卓越的计算效率，由于在结构和拉普拉斯约束下进行了定制化优化，收敛速度优于现有方法。
• 理论分析证明，优化问题是凸的，且块坐标下降算法收敛至最优解。
• 通过特征值分解和行列式恒等式，正式建立了组合拉普拉斯估计与修正精度矩阵估计之间的等价性。
• 加权ℓ1-正则化项能有效促进所学图的稀疏性，从而揭示可解释且低复杂度的网络结构。
• 即使在连通性未知的情况下，该方法也能成功学习图结构，通过在稀疏性约束下联合估计结构和权重实现。