[论文解读] Bayesian Graph Neural Networks with Adaptive Connection Sampling

Arman Hasanzadeh, Ehsan Hajiramezanali+5 more|arXiv (Cornell University)|Jun 7, 2020

Advanced Graph Neural Networks参考文献 41被引用 17

一句话总结

本文提出图DropConnect（GDC），一种用于图神经网络（GNNs）中自适应连接采样的一体化框架，通过在训练过程中联合学习采样率实现。通过采用分层β-伯努利构造建模连接丢弃率，并利用连续松弛与ARM梯度，GDC实现了类似贝叶斯的不确定性量化，显著减少了过平滑与过拟合，在基准数据集的半监督节点分类任务中优于固定率方法（如DropEdge和DropOut）。

ABSTRACT

We propose a unified framework for adaptive connection sampling in graph neural networks (GNNs) that generalizes existing stochastic regularization methods for training GNNs. The proposed framework not only alleviates over-smoothing and over-fitting tendencies of deep GNNs, but also enables learning with uncertainty in graph analytic tasks with GNNs. Instead of using fixed sampling rates or hand-tuning them as model hyperparameters in existing stochastic regularization methods, our adaptive connection sampling can be trained jointly with GNN model parameters in both global and local fashions. GNN training with adaptive connection sampling is shown to be mathematically equivalent to an efficient approximation of training Bayesian GNNs. Experimental results with ablation studies on benchmark datasets validate that adaptively learning the sampling rate given graph training data is the key to boost the performance of GNNs in semi-supervised node classification, less prone to over-smoothing and over-fitting with more robust prediction.

研究动机与目标

• 为解决深度GNN中的过平滑与过拟合问题，这些问题是限制其性能与深度的关键因素。
• 在GNN预测中实现不确定性量化（UQ），这是标准GNN所缺乏的能力。
• 将现有的随机正则化技术（如DropEdge和DropOut）统一到一个自适应的框架下。
• 开发一种可微分的、可学习的连接采样机制，以提升GNN的鲁棒性与泛化能力。
• 建立GDC的贝叶斯解释，将其与蒙特卡洛不确定性估计及贝叶斯GNN联系起来。

提出的方法

• 提出图DropConnect（GDC），一种基于可学习每条消息传递通道丢弃率的随机正则化技术，用于在GNN中自适应采样边。
• 将连接采样率建模为分层β-伯努利过程，以实现对边丢弃概率的贝叶斯学习。
• 采用连续松弛与增强-REINFORCE-合并（ARM）梯度估计器，实现通过离散采样操作的端到端反向传播。
• 通过GDC推导出GNN训练的贝叶斯近似，其中在采样图上进行蒙特卡洛推理可获得预测不确定性估计。
• 将GDC应用于GCN与GraphSAGE架构，实现通道级独立的采样掩码，以提升表示多样性。
• 引入分块掩码机制，通过在特征通道间共享采样掩码来降低内存使用。

实验结果

研究问题

• RQ1 与固定率随机正则化相比，自适应的、可学习的连接采样能否提升GNN的泛化能力并减少过平滑？
• RQ2 GDC能否在GNN预测中提供有意义的不确定性量化，其效果可与CNN中贝叶斯深度学习相媲美？
• RQ3 在半监督节点分类任务中，GDC与现有方法（如DropEdge和DropOut）在性能与鲁棒性方面相比如何？
• RQ4 GDC的贝叶斯解释是否成立，即在图上进行蒙特卡洛采样能否近似后验预测分布？
• RQ5 当GDC中的特征块数量变化时，模型性能、内存使用与计算成本之间的权衡如何？

主要发现

• 采用自适应GDC的GCN-BBGDC在Cora数据集上达到83.3%的准确率（32个块），优于标准GCN-DO与GCN-DE，后者在超过4层后性能显著下降。
• GCN-BBGDC的隐藏层输出总变差（TV）在训练过程中增加，表明过平滑现象减少；而GCN-DO的TV呈下降趋势，表明存在过平滑。
• GCN-BBGDC在深度增加（最多16层）时性能仅轻微下降，而GCN-DO在16层时准确率降至64.5%，显示出更强的鲁棒性。
• 消融实验表明，仅学习DropEdge率（不使用DropOut）即可显著提升性能，凸显自适应边采样的重要性。
• 增加GDC中的块数可提升准确率（从2个块时的82.2%提升至32个块时的83.3%），证实了其增强的灵活性与表示多样性。
• 通过蒙特卡洛采样获得的GDC预测不确定性比标准DropOut更可靠，经验证其UQ性能更优。