[論文レビュー] Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification

Maximilian Stadler, Bertrand Charpentier+3 more|arXiv (Cornell University)|Oct 26, 2021

Bayesian Modeling and Causal Inference被引用数 24

ひとこと要約

本稿では、同型属性付きグラフにおけるノード分類のためのベイジアンモデルとして、グラフポストリアルネットワーク（GPN）を提案する。GPNは、ノード同士が相関関係にある中で、予測の不確実性を明示的に定量化する。GPNは、グラフ構造データにおける不確実性の3つの公理を満たし、分布外（OOD）検出および分布シフトに強い性能を示すが、アンサンブルやドロップアウトを用いず、効率的な推論を維持する。

ABSTRACT

The interdependence between nodes in graphs is key to improve class predictions on nodes and utilized in approaches like Label Propagation (LP) or in Graph Neural Networks (GNN). Nonetheless, uncertainty estimation for non-independent node-level predictions is under-explored. In this work, we explore uncertainty quantification for node classification in three ways: (1) We derive three axioms explicitly characterizing the expected predictive uncertainty behavior in homophilic attributed graphs. (2) We propose a new model Graph Posterior Network (GPN) which explicitly performs Bayesian posterior updates for predictions on interdependent nodes. GPN provably obeys the proposed axioms. (3) We extensively evaluate GPN and a strong set of baselines on semi-supervised node classification including detection of anomalous features, and detection of left-out classes. GPN outperforms existing approaches for uncertainty estimation in the experiments.

研究の動機と目的

• ノード予測が近隣構造に起因して相互に依存するグラフにおけるノード分類の不確実性定量化の不足に対処すること。
• 同型属性付きグラフにおける合理的な不確実性行動を、ネットワーク効果の有無にかかわらず、アレアトリック不確実性とエピステミック不確実性を区別する3つの公理によって形式化すること。
• ノード同士の依存関係を考慮したベイジアン事後分布更新を実行し、提示された公理を厳密に満たす、スケーラブルで効率的なモデルGPNを開発すること。
• 実世界の分布シフトを模倣するため、OOD検出および属性／構造のシフトに対するロバストネスを用いて、不確実性推定の質を評価すること。
• GPNが、多様なグラフベンチマークにおいて最先端の手法と比較して、優れた不確実性キャリブレーションおよび検出性能を達成することを示すこと。

提案手法

• 本手法は、同型属性付きグラフにおける期待される不確実性行動を形式化する3つの公理を導出する。これらは、ネットワーク効果の有無にかかわらず、アレアトリック不確実性とエピステミック不確実性を区別する。
• GPNは、クラス確率のディリクレ分布を用いてノード予測をモデル化し、集中パラメータを用いてエピステミック不確実性を推定可能にする。
• 近隣集約を用いてグラフ全体に不確実性を伝搬することで、ベイジアン事後更新を実行する。グラフの同型性を活用して、予測を精緻化する。
• 真の事後分布を近似するための変分推論アプローチを用いることで、複数回の順伝搬やアンサンブルの必要性を回避する。
• ノード特徴量と近隣構造の両方を統合して予測分布を更新することで、不確実性が局所的なデータ品質と関係的文脈の両方を反映するようにする。
• GKDE-GCN やアンサンブルベースの手法とは異なり、高価なカーネル計算やモデルアンサンブルを避けることで、効率的な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 属性付きグラフにおける相互に依存するノードに対して、予測の不確実性を形式的に定義し、公理化することは可能か？
• RQ2 ネットワーク効果を考慮したノード間で事後分布を明示的に更新できるベイジアンモデルを設計できるか？
• RQ3 GPNの不確実性推定は、既存の手法と比較して、分布外（OOD）ノードの検出および分布シフトの処理においてどのように優れているか？
• RQ4 GPNは、アンサンブル、ドロップアウト、カーネルベースの不確実性推定手法と比較して、計算効率に優れているか？
• RQ5 ネットワーク効果を組み込むことで、ノード分類タスクにおける不確実性キャリブレーションとロバストネスが向上するか？

主な発見

• GPNは、すべてのデータセットですべてのベースラインを上回り、OOD検出において優れた不確実性キャリブレーションを示した。
• OGBN-Arxivデータセットでは、GPNの推論時間が275.69 msであり、アンサンブル手法（548.27 ms）より顕著に速く、他の効率的なモデルと同等の性能を発揮した。
• CoraMLにおける学習効率では、GPNは10.20秒で完了した。これは、VGCN（47.28 s）やGKDE-GCN（46.48 s）よりも速く、アンサンブル学習（472.82 s）よりもはるかに効率的であった。
• Coauthor CSデータセットでは、GPNが全手法中最も速い学習時間（32.80 s）を達成し、VGCN や GKDE-GCN をも上回った。
• GPNは、属性および構造のシフトに対して強く、PubMed や Amazon プロダクトなどの複数のベンチマークで一貫した不確実性推定性能を示した。
• モデルの不確実性推定は良好にキャリブレートされており、近隣ノードが不確実である場合にエピステミック不確実性が適切に増加し、逆に近隣ノードが自信を持っている場合には減少するという点で、公理的設計の妥当性が裏付けられた。