[論文レビュー] Bayesian Graph Neural Networks with Adaptive Connection Sampling

Arman Hasanzadeh, Ehsan Hajiramezanali+5 more|arXiv (Cornell University)|Jun 7, 2020

Advanced Graph Neural Networks参考文献 41被引用数 17

ひとこと要約

本稿では、学習中にサンプリングレートを共同で学習する、グラフニューラルネットワーク（GNN）における適応的接続サンプリングの統合フレームワーク「Graph DropConnect（GDC）」を提案する。接続のドロップレートを階層的ベータ・ベルヌーイ構造でモデル化し、連続的リラクゼーションとARM勾配推定法を用いることで、ベイズ的類似の不確実性評価が可能となり、過剰平滑化および過学習が顕著に軽減される。ベンチマークデータセットにおける半教師ありノード分類において、固定レート手法（DropEdge や DropOut）を上回る性能を発揮する。

ABSTRACT

We propose a unified framework for adaptive connection sampling in graph neural networks (GNNs) that generalizes existing stochastic regularization methods for training GNNs. The proposed framework not only alleviates over-smoothing and over-fitting tendencies of deep GNNs, but also enables learning with uncertainty in graph analytic tasks with GNNs. Instead of using fixed sampling rates or hand-tuning them as model hyperparameters in existing stochastic regularization methods, our adaptive connection sampling can be trained jointly with GNN model parameters in both global and local fashions. GNN training with adaptive connection sampling is shown to be mathematically equivalent to an efficient approximation of training Bayesian GNNs. Experimental results with ablation studies on benchmark datasets validate that adaptively learning the sampling rate given graph training data is the key to boost the performance of GNNs in semi-supervised node classification, less prone to over-smoothing and over-fitting with more robust prediction.

研究の動機と目的

• 深層GNNにおける過剰平滑化および過学習を緩和し、性能と深さの制限を克服すること。
• 標準的なGNNに欠けている予測の不確実性評価（UQ）を可能とすること。
• DropEdge や DropOut といった既存の確率的正則化手法を、統一的で適応的なフレームワークに統合すること。
• GNNのロバストネスと一般化性能を向上させる、微分可能で学習可能な接続サンプリングメカニズムを開発すること。
• GDCにベイズ的解釈を設け、モンテカルロ不確実性推定およびベイズGNNと結びつけること。

提案手法

• GNNにおける各メッセージパッシングチャネルごとに学習可能なドロップレートを用いて、適応的エッジサンプリングを実行する確率的正則化手法「Graph DropConnect（GDC）」を提案する。
• 接続サンプリングレートを階層的ベータ・ベルヌーイプロセスとしてモデル化し、エッジドロップアウト確率のベイズ的学習を可能にする。
• 連続的リラクゼーションと、Augment-REINFORCE-Merge（ARM）勾配推定法を用いて、離散的サンプリング操作を経由するエンドツーエンドバックプロパゲーションを可能にする。
• GDCによるGNN学習のベイズ的近似を導出し、サンプリングされたグラフ上でモンテカルロ推論を実行することで、予測の不確実性推定値を算出する。
• GCNおよびGraphSAGEアーキテクチャにGDCを適用し、表現の多様性を向上させるためにチャネル単位で独立したサンプリングマスクを導入する。
• メモリ使用量を削減するため、ブロック単位のマスクを導入し、特徴チャネル間でマスクを共有する。

実験結果

リサーチクエスチョン

• RQ1 固定レートの確率的正則化と比較して、適応的かつ学習可能な接続サンプリングは、GNNの一般化性能を向上させ、過剰平滑化を軽減できるか？
• RQ2 GDCは、畳み込みニューラルネットワーク（CNN）におけるベイズディープラーニングと同等の意味的不確実性評価を提供できるか？
• RQ3 半教師ありノード分類において、GDCはDropEdge や DropOut といった既存手法と比較して、性能およびロバストネスにおいて優れているか？
• RQ4 GDCのベイズ的解釈は妥当であり、グラフ上のモンテカルロサンプリングが事後予測分布を近似できるか？
• RQ5 GDCにおける特徴ブロック数を変化させた場合、モデル性能、メモリ使用量、計算コストのトレードオフはどのように変化するか？

主な発見

• 適応的GDCを用いたGCN-BBGDCは、32ブロックでCoraデータセットで83.3%の精度を達成し、標準的なGCN-DOやGCN-DEよりも優れた性能を示す。4層を超えると、GCN-DOやGCN-DEは顕著な性能低下を示す。
• GCN-BBGDCでは、訓練中に隠れ層出力のTV（全変動）が増加する傾向を示し、過剰平滑化が軽減されていることを示している。一方、GCN-DOではTVが減少し、過剰平滑化の兆候が見られる。
• GCN-BBGDCは深さが増しても性能が著しく低下せず（16層までで精度は83.3%程度）、一方GCN-DOは16層で64.5%まで低下する。これにより、GDCの優れたロバストネスが裏付けられる。
• アブレーションスタディの結果、DropOutを除き、DropEdgeレートのみを学習することで顕著な性能向上が得られ、適応的エッジサンプリングの重要性が示された。
• GDCにおけるブロック数を増やすことで精度が向上（2ブロックで82.2%、32ブロックで83.3%）し、柔軟性と表現の多様性の向上が確認された。
• GDCにおけるモンテカルロサンプリングによる予測不確実性は、標準的なDropOutよりも信頼性が高く、UQ性能の向上が実証された。