[论文解读] Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification

Maximilian Stadler, Bertrand Charpentier+3 more|arXiv (Cornell University)|Oct 26, 2021

Bayesian Modeling and Causal Inference被引用 24

一句话总结

本文提出图后验网络（GPN），一种用于节点分类的贝叶斯模型，通过在同质属性图中对相互依赖的节点执行后验更新，显式量化预测不确定性。GPN 满足图结构数据中不确定性的三个公理，并在分布外检测和分布偏移鲁棒性方面的不确定性估计上优于强基线模型，同时在无需集成或丢弃的情况下保持高效推理。

ABSTRACT

The interdependence between nodes in graphs is key to improve class predictions on nodes and utilized in approaches like Label Propagation (LP) or in Graph Neural Networks (GNN). Nonetheless, uncertainty estimation for non-independent node-level predictions is under-explored. In this work, we explore uncertainty quantification for node classification in three ways: (1) We derive three axioms explicitly characterizing the expected predictive uncertainty behavior in homophilic attributed graphs. (2) We propose a new model Graph Posterior Network (GPN) which explicitly performs Bayesian posterior updates for predictions on interdependent nodes. GPN provably obeys the proposed axioms. (3) We extensively evaluate GPN and a strong set of baselines on semi-supervised node classification including detection of anomalous features, and detection of left-out classes. GPN outperforms existing approaches for uncertainty estimation in the experiments.

研究动机与目标

• 为解决图中节点分类缺乏严谨的不确定性量化问题，其中由于邻域结构的存在，节点预测相互依赖。
• 通过三个公理形式化同质属性图中合理不确定性行为，区分存在与不存在网络效应时的偶然不确定性与认知不确定性。
• 开发一种可扩展、高效的模型——GPN，对相互依赖的节点执行贝叶斯后验更新，并可证明满足所提出的公理。
• 使用分布外检测和对属性/结构偏移的鲁棒性评估不确定性估计质量，以模拟现实世界中的分布偏移。
• 证明 GPN 在多种图基准上相较于最先进方法，实现了更优的不确定性校准和检测性能。

提出的方法

• 该方法推导出三个公理，形式化了同质属性图中预期的不确定性行为，区分存在与不存在网络效应时的不确定性。
• GPN 使用类别概率上的狄利克雷分布对节点预测进行建模，通过浓度参数实现认知不确定性估计。
• 通过邻域聚合在图中传播不确定性，利用图同质性来优化预测，执行贝叶斯后验更新。
• 采用变分推理方法近似真实后验分布，避免了多次前向传播或模型集成的需要。
• GPN 整合节点特征与邻域结构以更新预测分布，确保不确定性反映局部数据质量与关系上下文。
• 该框架通过避免昂贵的核计算或模型集成，实现高效推理，优于 GKDE-GCN 或基于集成的方法。

实验结果

研究问题

• RQ1 如何为属性图中相互依赖的节点正式定义并公理化预测不确定性？
• RQ2 能否设计一种贝叶斯模型，显式地在节点间更新后验分布，同时满足公理化的不确定性行为？
• RQ3 GPN 的不确定性估计在检测分布外节点和处理分布偏移方面与现有方法相比如何？
• RQ4 与集成、丢弃及基于核的方法相比，GPN 的计算效率如何？
• RQ5 引入网络效应是否能提升节点分类任务中不确定性校准与鲁棒性？

主要发现

• 在所有数据集上，GPN 在分布外（OOD）检测方面均优于所有基线模型，表现出更优的不确定性校准性能。
• 在 OGBN-Arxiv 数据集上，GPN 的推理时间仅为 275.69 ms，显著快于集成方法（548.27 ms），且与其它高效模型相当。
• 在训练效率方面，GPN 在 CoraML 上仅需 10.20 秒，快于 VGCN（47.28 秒）和 GKDE-GCN（46.48 秒），远快于集成训练（472.82 秒）。
• 在 Coauthor CS 数据集上，GPN 的训练时间最快（32.80 秒），优于 VGCN 和 GKDE-GCN。
• GPN 对属性和结构偏移表现出强鲁棒性，在 PubMed 和 Amazon 产品等多个基准上保持一致的不确定性估计性能。
• 该模型的不确定性估计校准良好，当邻居不确定时，认知不确定性相应增加；当邻居自信时，不确定性降低——验证了公理化设计的有效性。