[论文解读] Bayesian Graph Convolutional Neural Networks using Node Copying

Soumyasundar Pal, Florence Regol+1 more|arXiv (Cornell University)|Nov 8, 2019

Advanced Graph Neural Networks参考文献 35被引用 13

一句话总结

本文提出了一种贝叶斯图卷积神经网络（BGCN），通过节点复制机制生成图结构，将节点特征和训练标签整合到拓扑推断中。通过同时基于观测到的拓扑结构和节点级信息进行图结构推断，该方法在半监督节点分类任务中表现更优，尤其在标签数据有限的情况下，优于先前的BGCN和GCNN基线模型，在Cora、Citeseer和Pubmed数据集上均取得更优结果。

ABSTRACT

Graph convolutional neural networks (GCNN) have numerous applications in different graph based learning tasks. Although the techniques obtain impressive results, they often fall short in accounting for the uncertainty associated with the underlying graph structure. In the recently proposed Bayesian GCNN (BGCN) framework, this issue is tackled by viewing the observed graph as a sample from a parametric random graph model and targeting joint inference of the graph and the GCNN weights. In this paper, we introduce an alternative generative model for graphs based on copying nodes and incorporate it within the BGCN framework. Our approach has the benefit that it uses information provided by the node features and training labels in the graph topology inference. Experiments show that the proposed algorithm compares favorably to the state-of-the-art in benchmark node classification tasks.

研究动机与目标

• 通过将图结构建模为生成过程中的随机样本，解决图结构中的不确定性问题。
• 通过将节点特征和训练标签整合到图拓扑推断中，提升半监督节点分类性能。
• 开发一种生成模型，通过复制现有节点而非生成新节点，实现灵活的拓扑学习。
• 在标签数据稀缺的情况下，超越现有贝叶斯GCN和GCNN方法。

提出的方法

• 提出一种基于节点复制的生成模型，通过从已有节点复制生成新边，保留结构和基于特征的关系。
• 将节点复制过程整合到贝叶斯GCN框架中，联合推断图结构和GCNN权重。
• 基于观测到的拓扑结构、节点特征和训练标签进行图结构后验推断，实现不确定性感知的学习。
• 使用马尔可夫链蒙特卡洛采样对图结构与模型权重的联合后验分布进行近似推断。
• 采用GCNN作为基础分类器，贝叶斯框架使得预测结果具备不确定性量化能力。
• 应用带有控制变量的随机优化方法，提升大规模图结构下的可扩展性。

实验结果

研究问题

• RQ1 当具备节点特征和标签时，基于节点复制的生成模型是否能提升图结构推断性能？
• RQ2 将节点特征和标签整合到图拓扑学习中，是否能带来更好的节点分类性能？
• RQ3 在低标签设置下，所提出的BGCN与当前最先进的GCNN和贝叶斯GCN方法相比表现如何？
• RQ4 节点复制机制是否能纠正噪声或不完整图中的缺失或错误边？

主要发现

• 所提出的BGCN在Cora、Citeseer和Pubmed数据集上的分类准确率均高于GCNN、ChebyNet、GAT以及先前的BGCN方法。
• 在Cora数据集上，每类仅使用5个标签（随机划分），该方法达到73.8%的准确率，优于先前的BGCN（74.6%）和GCNN（70.0%）。
• 在Citeseer数据集上，每类仅使用5个标签，该方法达到63.9%的准确率，超过先前的BGCN（63.0%）和GCNN（58.5%）。
• 在Pubmed数据集上，每类仅使用5个标签，该方法达到71.0%的准确率，超过先前的BGCN（70.2%）和GCNN（69.7%）。
• 当标签数据有限时，性能提升最为显著：在Cora数据集上，该方法相比GCNN提升3.8个百分点。
• 在低度数节点上，该方法纠正的错误多于GCNN，表明其在图的稀疏区域具有更好的泛化能力。