[论文解读] Bayesian graph convolutional neural networks for semi-supervised classification

Yingxue Zhang, Soumyasundar Pal+2 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Graph Neural Networks参考文献 2被引用 23

一句话总结

本文提出贝叶斯图卷积神经网络（贝叶斯GCNN），将图结构视为不确定，通过参数化随机图（同质混合成员随机块模型）进行建模，实现图参数与节点标签的联合推断。该方法在标签较少时提升泛化能力，并增强对对抗性边扰动的鲁棒性，在准确率和对抗攻击下保持分类边界方面优于标准GCNN。

ABSTRACT

Recently, techniques for applying convolutional neural networks to graph-structured data have emerged. Graph convolutional neural networks (GCNNs) have been used to address node and graph classification and matrix completion. Although the performance has been impressive, the current implementations have limited capability to incorporate uncertainty in the graph structure. Almost all GCNNs process a graph as though it is a ground-truth depiction of the relationship between nodes, but often the graphs employed in applications are themselves derived from noisy data or modelling assumptions. Spurious edges may be included; other edges may be missing between nodes that have very strong relationships. In this paper we adopt a Bayesian approach, viewing the observed graph as a realization from a parametric family of random graphs. We then target inference of the joint posterior of the random graph parameters and the node (or graph) labels. We present the Bayesian GCNN framework and develop an iterative learning procedure for the case of assortative mixed-membership stochastic block models. We present the results of experiments that demonstrate that the Bayesian formulation can provide better performance when there are very few labels available during the training process.

研究动机与目标

• 解决标准GCNN将图拓扑视为真实情况的局限，忽略结构不确定性。
• 开发一种贝叶斯框架，从噪声或不完美的图数据中联合推断图参数与节点标签。
• 在仅有少量标记节点时，提升模型的泛化能力与鲁棒性。
• 评估贝叶斯GCNN在随机和对抗性边扰动下的韧性。

提出的方法

• 将观测图建模为参数化随机图族的一个实现，具体为同质混合成员随机块模型。
• 使用近似贝叶斯推断对图参数与节点标签进行联合后验推断。
• 采用随机优化计算图参数的最大后验估计。
• 使用蒙特卡洛Dropout进行近似变分推断，从贝叶斯GCNN中采样权重。
• 应用迭代学习过程，同时更新图结构参数与神经网络权重。
• 在贝叶斯神经网络框架内集成图卷积操作，通过在不确定图上的消息传递更新特征。

实验结果

研究问题

• RQ1 当仅有少量标记节点时，GCNN的贝叶斯公式化是否能提升性能？
• RQ2 将图结构建模为不确定是否能提升对随机或对抗性边扰动的鲁棒性？
• RQ3 与标准GCNN相比，贝叶斯GCNN在图拓扑攻击下能多大程度维持分类器边界？
• RQ4 图参数与节点标签的联合推断是否能带来优于标准GCNN的泛化能力？

主要发现

• 在Cora数据集上，贝叶斯GCNN在无攻击时保持86.50%的准确率，在随机边攻击下为69.50%，而标准GCNN分别为85.55%和55.50%。
• 在Citeseer数据集上，贝叶斯GCNN在无攻击时达到87.0%的准确率，在随机攻击下为66.5%，优于GCNN的88.5%和43.0%。
• 在攻击下，贝叶斯GCNN保持了更高的平均分类器边界：Cora上为0.387，Citeseer上为0.335，而GCNN分别为0.152和0.014。
• 在随机攻击后，贝叶斯GCNN减少了误分类节点的数量——几乎一半的GCNN目标节点被误分类，而贝叶斯GCNN显示显著更少的变化。
• 在攻击下，贝叶斯GCNN在Cora上的准确率下降17%，在Citeseer上下降20.5%，而标准GCNN分别下降30%和44.5%。
• 该方法在标签稀缺条件下表现出更好的泛化能力，在低数据场景下持续获得性能提升。