[论文解读] Graph Neural Networks Intersect Probabilistic Graphical Models: A Survey

Chenqing Hua, Sitao Luan+2 more|arXiv (Cornell University)|May 24, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本综述探讨了图神经网络（GNNs）与概率图模型（PGMs）之间的协同整合，展示了两者如何相互增强：PGMs通过结构化预测、可解释性以及图结构学习提升GNNs，而GNNs则通过加速PGM推理和提升学习效率来增强PGMs。主要贡献在于构建了一个两领域间交叉促进的综合框架，并明确了基准数据集与未来研究方向。

ABSTRACT

Graphs are a powerful data structure to represent relational data and are widely used to describe complex real-world data structures. Probabilistic Graphical Models (PGMs) have been well-developed in the past years to mathematically model real-world scenarios in compact graphical representations of distributions of variables. Graph Neural Networks (GNNs) are new inference methods developed in recent years and are attracting growing attention due to their effectiveness and flexibility in solving inference and learning problems over graph-structured data. These two powerful approaches have different advantages in capturing relations from observations and how they conduct message passing, and they can benefit each other in various tasks. In this survey, we broadly study the intersection of GNNs and PGMs. Specifically, we first discuss how GNNs can benefit from learning structured representations in PGMs, generate explainable predictions by PGMs, and how PGMs can infer object relationships. Then we discuss how GNNs are implemented in PGMs for more efficient inference and structure learning. In the end, we summarize the benchmark datasets used in recent studies and discuss promising future directions.

研究动机与目标

• 探究概率图模型（PGMs）如何在结构化预测、可解释性以及图结构学习方面提升图神经网络（GNNs）的性能。
• 考察GNNs如何通过先进的消息传递机制，加速推理并提升学习效率，从而增强PGMs。
• 识别并评估GNN-PGM整合在节点分类、结构学习与精确推理等任务中的基准数据集。
• 通过提出混合建模方法，解决图学习中同质性、可扩展性与可解释性方面的开放挑战。
• 通过概述关键研究方向，为未来研究提供指引，包括更大规模的数据集以及适用于现实世界应用的可解释、白盒模型。

提出的方法

• 将PGMs中的条件随机场（CRFs）整合到GNNs中，以建模节点特征与标签之间的依赖关系，从而克服标准GNNs中独立性假设的局限。
• 采用PGMs（如贝叶斯网络与马尔可夫随机场）生成可解释性，通过白盒图模型提供对GNN预测的后处理解释。
• 利用PGMs进行图结构学习，基于特征相似性与概率势函数推断边，减少输入图中的噪声。
• 将GNN的消息传递算法适配至PGMs中，以提升Loopy Belief Propagation（LBP）在环状或复杂图结构中的效率与收敛性。
• 提出混合架构，结合GNN的表征学习能力与PGMs的统计可解释性，实现联合推理与学习。
• 利用合成数据集与真实世界数据集（包括Human3.6M、LDPC与20news）评估在节点分类、DAG学习与精确推理任务中的性能表现。

实验结果

研究问题

• RQ1 PGMs如何通过建模输入特征与输出标签之间的依赖关系，提升GNNs在结构化预测方面的能力？
• RQ2 PGMs在哪些方面可通过可解释的图模型与后处理解释技术，提升GNN预测的可解释性？
• RQ3 PGMs如何协助GNNs从噪声或不完整的输入数据中学习到稳健且无噪声的图结构？
• RQ4 GNNs能否加速并提升PGMs中信念传播的效率，特别是在环状或复杂图结构中？
• RQ5 在具有不同同质性水平的大规模、多样化现实世界图中，GNN-PGM整合面临哪些关键挑战与机遇？

主要发现

• PGMs通过引入CRFs实现结构化预测，显式建模节点特征与标签之间的依赖关系，显著优于独立预测假设，从而提升性能。
• PGMs为GNN预测提供白盒、可解释的解释，解决了深度学习模型的黑箱问题，支持人类可理解的解释。
• 基于PGMs的图结构学习能有效从特征相似性与概率势函数中推断出有意义的边，减少噪声并提升下游GNN的性能。
• GNNs通过用高效可学习的消息传递机制替代缓慢的Loopy Belief Propagation，显著加速PGMs中的推理过程，尤其在环状图中优势明显。
• 当前用于可解释性、结构学习与精确推理的基准数据集在规模与多样性方面仍显不足，凸显了构建更大、更具代表性的现实世界数据集的迫切需求。
• 同质性假设在现实世界图中常不成立，但可通过PGMs从特征与标签中推断同质性邻域，从而提升GNN在非同质图上的泛化能力。