[论文解读] Learning Laplacian Matrix in Smooth Graph Signal Representations

Xiaowen Dong, Dorina Thanou+2 more|arXiv (Cornell University)|Jun 30, 2014

Advanced Graph Neural Networks参考文献 53被引用 38

一句话总结

该论文提出了一种方法，通过在因子分析框架中对潜在变量施加高斯先验，学习图拉普拉斯矩阵，以在观测图信号中强制实现平滑性。该方法最小化在学习到的图上的信号变化，有效从数据中推断出有意义的拓扑结构——在合成数据和真实世界数据（包括气候站和瑞士 referenda 投票模式）上进行了验证，其聚类准确率优于现有方法，并能捕捉可解释的政治和地理关系。

ABSTRACT

The construction of a meaningful graph plays a crucial role in the success of many graph-based representations and algorithms for handling structured data, especially in the emerging field of graph signal processing. However, a meaningful graph is not always readily available from the data, nor easy to define depending on the application domain. In particular, it is often desirable in graph signal processing applications that a graph is chosen such that the data admit certain regularity or smoothness on the graph. In this paper, we address the problem of learning graph Laplacians, which is equivalent to learning graph topologies, such that the input data form graph signals with smooth variations on the resulting topology. To this end, we adopt a factor analysis model for the graph signals and impose a Gaussian probabilistic prior on the latent variables that control these signals. We show that the Gaussian prior leads to an efficient representation that favors the smoothness property of the graph signals. We then propose an algorithm for learning graphs that enforces such property and is based on minimizing the variations of the signals on the learned graph. Experiments on both synthetic and real world data demonstrate that the proposed graph learning framework can efficiently infer meaningful graph topologies from signal observations under the smoothness prior.

研究动机与目标

• 解决在缺乏有意义图结构先验的情况下学习图拓扑的挑战，特别是在图信号处理应用中。
• 确保在推断出的图上，观测到的数据信号是平滑的，这种性质在现实世界数据中普遍存在，如温度或社交网络行为。
• 开发一种基于统计建模潜在信号结构的图拉普拉斯学习的系统性框架，以强制实现平滑性。
• 提供一种数据驱动的方法，从信号观测中推断图结构，而无需依赖真实关系。

提出的方法

• 使用广义因子分析框架对图信号进行建模，其中观测信号通过线性变换从潜在变量生成。
• 对潜在变量施加均值为零的高斯先验，以促进生成图信号的平滑性。
• 将图学习问题表述为最小化图上信号的总变差，从而在拉普拉斯矩阵上形成一个凸优化问题。
• 将图拉普拉斯矩阵用作目标函数中的正则化项，以强制实现平滑性，同时满足拉普拉斯矩阵对称、半正定且行和为零的约束。
• 通过交替优化或邻近算法求解优化问题，利用高斯先验的结构实现高效计算。
• 对学习到的图应用谱聚类以验证拓扑结构，尤其在缺乏真实标签的情况下。

实验结果

研究问题

• RQ1 能否从噪声信号观测中学习图拉普拉斯矩阵，使得信号在所得图上是平滑的？
• RQ2 如何利用潜在变量的统计先验来在图信号表示中强制实现平滑性？
• RQ3 所提出的方法是否在恢复真实图结构和聚类信号方面优于现有图学习技术？
• RQ4 学习到的图拓扑能否在真实世界数据中捕捉可解释的关系，如政治或地理依赖性？

主要发现

• GL-SigRep 在恢复气候观测站真实聚类时，NMI 达到 0.5813，纯度为 0.7321，Rand 指数为 0.8039，优于 GL-LogDet。
• 该方法成功从瑞士 referenda 数据中推断出政治图，揭示了与州的语言和政治归属一致的聚类。
• 学习到的图拓扑将法语区州聚类在一起，并将乌里和施维茨等保守州隔离，与已知的政治行为一致。
• 在“反对大规模移民” referenda 中，红色聚类包含支持率超过 58.2% 的州，聚类结果与先前分区一致，验证了该方法的鲁棒性。
• 该框架在合成数据和真实世界数据上均表现出色，表明平滑性先验可生成可解释且准确的图拓扑。
• 在因子分析模型中使用高斯先验，实现了高效的优化和有效的平滑性强制，优于 GL-LogDet 等替代方法。