[论文解读] Graph Neural Processes: Towards Bayesian Graph Neural Networks

Andrew N. Carr, David Wingate|arXiv (Cornell University)|Feb 26, 2019

Advanced Graph Neural Networks参考文献 37被引用 4

一句话总结

本文提出了图神经过程（GNP），一种贝叶斯深度学习框架，将条件神经过程（CNP）扩展至图结构数据，实现不确定性感知的边补全，并在不同大小的图上实现泛化。GNP 在多个图基准数据集上达到最先进性能，在精确率、F1 分数和召回率方面优于随机森林和基线模型，尤其在数据不平衡场景下表现突出。

ABSTRACT

We introduce Graph Neural Processes (GNP), inspired by the recent work in conditional and latent neural processes. A Graph Neural Process is defined as a Conditional Neural Process that operates on arbitrary graph data. It takes features of sparsely observed context points as input, and outputs a distribution over target points. We demonstrate graph neural processes in edge imputation and discuss benefits and drawbacks of the method for other application areas. One major benefit of GNPs is the ability to quantify uncertainty in deep learning on graph structures. An additional benefit of this method is the ability to extend graph neural networks to inputs of dynamic sized graphs.

研究动机与目标

• 开发一种用于图结构数据的贝叶斯深度学习框架，以量化预测中的不确定性。
• 将条件神经过程（CNP）框架扩展至处理任意图输入，实现对上下文点顺序的不变性。
• 通过从局部节点和边特征学习共享的全局表示，实现在不同大小图之间的泛化。
• 展示 GNP 在边补全任务中的实用性，特别是在存在噪声或缺失边值的场景下。
• 为未来在贝叶斯图神经网络和关系推理方面的研究奠定基础。

提出的方法

• GNP 建模在给定一组观测（上下文）边特征的条件下，目标边值的条件分布，采用图结构输入表示。
• 它使用图神经网络（GNN）编码器将上下文节点和边特征嵌入为固定长度的表示，并通过交换性操作（如平均池化）聚合为上下文向量 $ r_C $。
• 上下文向量 $ r_C $ 用作全局上下文，以条件化解码器网络，预测目标边值的分布。
• 模型使用最大似然或交叉熵损失进行训练，具体取决于输出类型（连续或分类），并支持对上下文和目标边的任意采样。
• 该架构对上下文点和目标点的顺序保持不变，使其适用于具有不规则结构的图数据。
• 它利用 GNN 的归纳偏置和 CNP 的概率归纳偏置，学习图族之间的高层次抽象。

实验结果

研究问题

• RQ1 能否成功将神经过程框架适配至图结构数据，同时保持对上下文顺序的不变性？
• RQ2 图神经过程能否有效建模在存在缺失或噪声数据的图中边值预测的不确定性？
• RQ3 GNP 在不同大小和结构的图上泛化能力如何，特别是在低数据或数据不平衡设置下？
• RQ4 GNP 在边补全任务中相较于传统基线（如随机森林）的性能提升有多大？
• RQ5 在哪些应用场景中，GNP 能通过不确定性估计和关系推理带来实质性改进？

主要发现

• 在 Tox21 数据集上，GNP 在精确率上比所有基线模型高出约 20%，F1 分数高出 12%，召回率高出 10%，表明其在数据不平衡场景下具有强大的泛化能力。
• 在 PTC 家族数据集上，GNP 相比随机森林在精确率上提升 10–15%，F1 分数提升 3–10%，表明其在半监督边预测中表现更优。
• 在 MUTAG 数据集上，GNP 显著优于随机森林和基线模型，在分类致突变化合物方面达到更高准确率。
• 尽管存在严重类别不平衡（例如，在 bzr 上仅预测多数类即可达到 90% 准确率），GNP 在四个数据集中的两个上实现了最佳 F1 和召回率，显示出对类别不平衡的鲁棒性。
• GNP 在多种图类型上表现优异，包括分子化合物、交通网络和知识图谱，验证了其广泛适用性。
• 该模型成功学习了图族之间的全局表示，支持有效的少样本和动态图推理，这从其在多样化基准上的表现中得到验证。