[論文レビュー] Graph Neural Processes: Towards Bayesian Graph Neural Networks

Andrew N. Carr, David Wingate|arXiv (Cornell University)|Feb 26, 2019

Advanced Graph Neural Networks参考文献 37被引用数 4

ひとこと要約

本稿では、条件付きニューラルプロセスをグラフ構造データに拡張したベイジアンディープラーニングフレームワーク、グラフニューラルプロセス（GNP）を提案する。GNPは不確実性を考慮したエッジ補完と、サイズが異なるグラフ間での一般化を可能にする。複数のグラフベンチマークデータセットにおいて、ランダムフォレストやベースラインと比較して、特に不均衡データにおいて、精度、F1スコア、再現率の面で最先端の性能を達成している。

ABSTRACT

We introduce Graph Neural Processes (GNP), inspired by the recent work in conditional and latent neural processes. A Graph Neural Process is defined as a Conditional Neural Process that operates on arbitrary graph data. It takes features of sparsely observed context points as input, and outputs a distribution over target points. We demonstrate graph neural processes in edge imputation and discuss benefits and drawbacks of the method for other application areas. One major benefit of GNPs is the ability to quantify uncertainty in deep learning on graph structures. An additional benefit of this method is the ability to extend graph neural networks to inputs of dynamic sized graphs.

研究の動機と目的

• 予測の不確実性を定量化するグラフ構造データ向けのベイジアンディープラーニングフレームワークの開発。
• 条件付きニューラルプロセス（CNP）フレームワークを任意のグラフ入力で動作可能に拡張し、文脈点の順序に不変性を実現する。
• 局所的なノードおよびエッジ特徴量から共有のグローバル表現を学習することで、サイズが異なるグラフ間での一般化を可能にする。
• ノイズが多いまたは欠損しているエッジ値を含む状況において、GNPがエッジ補完タスクに有効であることを示す。
• 将来のベイジアングラフニューラルネットワークおよび関係性推論分野の研究基盤を確立する。

提案手法

• GNPは、グラフ構造の入力表現を用いて、観測済み（文脈）エッジ特徴量からターゲットエッジ値の条件付き分布をモデル化する。
• 文脈ノードおよびエッジ特徴量を固定長の表現に埋め込むために、グラフニューラルネットワーク（GNN）エンコーダを採用し、可換演算（例：平均プーリング）により集約して文脈ベクトル $ r_C $ を得る。
• 文脈ベクトル $ r_C $ をグローバルな文脈として用い、ターゲットエッジ値の分布を予測するデコーダネットワークを条件づける。
• モデルは、出力タイプ（連続値またはカテゴリカル）に応じて最尤推定または交差エントロピー損失を用いて訓練され、文脈およびターゲットエッジの任意のサンプリングをサポートする。
• アーキテクチャは文脈およびターゲットポイントの順序に不変であるため、不規則な構造を持つグラフデータに適している。
• GNNのインダクティブバイアスとCNPの確率的インダクティブバイアスを活用し、グラフの族全体にわたる高レベルの抽象化を学習する。

実験結果

リサーチクエスチョン

• RQ1 文脈点の順序に不変性を保ちつつ、ニューラルプロセスフレームワークをグラフ構造データに効果的に適応できるか？
• RQ2 グラフに欠損またはノイズのあるエッジ値がある状況でも、グラフニューラルプロセス（GNP）はエッジ値予測における不確実性を効果的にモデル化できるか？
• RQ3 特に低データ量または不均衡な設定下で、GNPはサイズや構造が異なるグラフ間でどれほど一般化できるか？
• RQ4 エッジ補完タスクにおいて、ランダムフォレストなどの従来のベースラインと比較して、GNPはどの程度の性能向上を達成するか？
• RQ5 GNPは不確実性推定と関係性推論の観点から、どのような応用分野で意味的な改善を提供できるか？

主な発見

• Tox21データセットでは、GNPはすべてのベースラインを精度で約20%、F1スコアで12%、再現率で10%上回り、不均衡データにおける優れた一般化性能を示した。
• PTCファミリーのデータセットでは、GNPはランダムフォレストよりも精度で10–15%、F1スコアで3–10%向上し、半教師ありエッジ予測において優れた性能を発揮した。
• MUTAGデータセットでは、GNPはランダムフォレストおよび単純なベースラインを大きく上回り、ミュタゲン性化合物の分類において高い正確性を達成した。
• 高いクラス不均衡（例：bzrでは90%の正確性が多数クラス予測で達成可能）にもかかわらず、GNPは4つのデータセットのうち2つで最高のF1スコアおよび再現率を達成し、不均衡に強く対応していることを示した。
• GNPは、分子化合物、交通ネットワーク、知識グラフを含む多様なグラフタイプにおいて優れた性能を発揮し、広範な適用可能性を裏付けた。
• モデルはグラフの族全体にわたるグローバル表現を効果的に学習でき、少サンプルおよび動的グラフ推論においても優れた性能を示しており、多様なベンチマークでの成績からその有効性が裏付けられた。