[论文解读] Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning

Soumyasundar Pal, Florence Regol+1 more|arXiv (Cornell University)|Oct 26, 2019

Advanced Graph Neural Networks参考文献 33被引用 9

一句话总结

本文提出了一种贝叶斯图卷积神经网络（BGCN），通过非参数图学习方法推断图结构中的不确定性，将节点特征和标签整合到后验图推断中。该方法在半监督节点分类任务中表现优于最先进模型，尤其在标注数据有限时，通过学习更鲁棒的图结构，提升了模型泛化能力。

ABSTRACT

Graph convolutional neural networks (GCNN) have been successfully applied to many different graph based learning tasks including node and graph classification, matrix completion, and learning of node embeddings. Despite their impressive performance, the techniques have a limited capability to incorporate the uncertainty in the underlined graph structure. In order to address this issue, a Bayesian GCNN (BGCN) framework was recently proposed. In this framework, the observed graph is considered to be a random realization from a parametric random graph model and the joint Bayesian inference of the graph and GCNN weights is performed. In this paper, we propose a non-parametric generative model for graphs and incorporate it within the BGCN framework. In addition to the observed graph, our approach effectively uses the node features and training labels in the posterior inference of graphs and attains superior or comparable performance in benchmark node classification tasks.

研究动机与目标

• 为解决现有GCNN在处理图结构不确定性方面的局限性，特别是在观测图存在噪声或不完整时。
• 克服贝叶斯GCN中参数化随机图模型的不足，这些模型限制了灵活性，并在图推断过程中忽略节点特征和标签。
• 开发一种非参数方法，联合推断图结构、GCNN权重和节点表征，利用观测图、特征和标签。
• 通过利用后验图推断中的丰富信息，在最小化标注数据的前提下，提升半监督节点分类任务的性能。

提出的方法

• 使用非参数生成模型进行图推断，实现灵活、数据驱动的结构学习，无需假设特定的参数形式。
• 通过两个组件将节点特征和训练标签整合到图的后验分布中：节点嵌入相似性（Z₁）和分类器置信度（Z₂）。
• 利用学习到的加权方案将Z₁和Z₂组合成混合图先验Z，从而在观测图之外增强图结构推断。
• 采用蒙特卡洛Dropout进行GCNN权重的近似贝叶斯推断，实现预测中的不确定性估计。
• 通过求解凸优化问题计算图邻接矩阵的MAP估计，确保推断出的节点关系与图结构的一致性。
• 在推断图（Â_G）上训练最终模型，以执行半监督节点分类，提升鲁棒性。

实验结果

研究问题

• RQ1 结合节点特征和标签的非参数图推断是否能提升GCNN在图不确定性下的鲁棒性？
• RQ2 在低标签设置下，使用非参数先验联合推断图结构与GCNN权重的方法，与参数化替代方法相比表现如何？
• RQ3 在图后验推断中整合标签信息与特征相似性，在多大程度上能减少过拟合并提升节点分类的泛化能力？
• RQ4 所提出方法是否在标注数据有限的半监督节点分类任务中，优于现有的贝叶斯与非贝叶斯GCNN？

主要发现

• 在Cora数据集上，使用每类5个标签时，所提BGCN达到76.0% ± 1.1的准确率，优于先前SOTA的BGCN（75.3% ± 0.8）和GCNN（74.4% ± 0.8）。
• 在Citeseer数据集上，使用每类10个标签时，该方法达到71.7% ± 0.8的准确率，超过先前BGCN（70.8% ± 0.6）和GCNN（65.8% ± 1.1）。
• 在Pubmed数据集上，使用每类20个标签时，所提方法达到79.2% ± 0.5的准确率，超过先前BGCN（76.6% ± 0.7）和GCNN（78.9% ± 0.3）。
• 推断图（Â_G）在同标签节点之间显示出比观测图更密集的连接，表明其与真实潜在关系的结构对齐更优。
• 该方法在低度数节点上的误分类纠正数量多于基础GCNN，表明在图的稀疏区域具有更强的鲁棒性。
• 可视化结果证实，MAP估计的图结构更好地捕捉了类别聚类，尤其在Cora和Citeseer中，这是由于在推断过程中引入了标签和特征信息。