[論文レビュー] Bayesian Graph Convolutional Neural Networks Using Non-Parametric Graph Learning

Soumyasundar Pal, Florence Regol+1 more|arXiv (Cornell University)|Oct 26, 2019

Advanced Graph Neural Networks参考文献 33被引用数 9

ひとこと要約

本稿では、ノード特徴量とラベルを事後分布におけるグラフ構造推定に統合することで、グラフ構造の不確実性を推定する非パrametricなグラフ畳み込みニューラルネットワーク（BGCN）を提案する。この手法は、ラベル付きデータが限られた状況下でも、モデルの一般化性能を向上させるより頑健なグラフ構造を学習することで、半教師ありノード分類において最先端のモデルを上回る性能を発揮する。

ABSTRACT

Graph convolutional neural networks (GCNN) have been successfully applied to many different graph based learning tasks including node and graph classification, matrix completion, and learning of node embeddings. Despite their impressive performance, the techniques have a limited capability to incorporate the uncertainty in the underlined graph structure. In order to address this issue, a Bayesian GCNN (BGCN) framework was recently proposed. In this framework, the observed graph is considered to be a random realization from a parametric random graph model and the joint Bayesian inference of the graph and GCNN weights is performed. In this paper, we propose a non-parametric generative model for graphs and incorporate it within the BGCN framework. In addition to the observed graph, our approach effectively uses the node features and training labels in the posterior inference of graphs and attains superior or comparable performance in benchmark node classification tasks.

研究の動機と目的

• 観測されたグラフがノイズが多いまたは不完全な場合に、従来のGCNNがグラフ構造の不確実性を適切に扱えないという限界を解消すること。
• ベイジアンGCNにおけるパラメトリックなランダムグラフモデルの欠点を克服すること。特に、構造推定時にノード特徴量とラベルを無視するという制限を解消すること。
• 観測されたグラフ、特徴量、ラベルを用いて、グラフ構造、GCNN重み、ノード表現を同時に推定する非パラメトリックなアプローチを開発すること。
• ラベル付きデータが最小限の半教師ありノード分類タスクにおいて、事後分布におけるグラフ推定に豊富な情報を統合することで、性能の向上を図ること。

提案手法

• データ駆動の構造学習が可能で、特定のパラメトリックな形式を仮定しない非パラメトリックな生成モデルを用いてグラフ推定を行う。
• ノード埋め込みの類似度（Z₁）と分類器の信頼度（Z₂）の2つの要素を介して、ノード特徴量と学習ラベルをグラフの事後分布に統合する。
• Z₁とZ₂を学習可能な重み付け方式で統合し、観測されたグラフを超えたより良いグラフ事前分布Zを構築する。
• GCNN重みに対する近似ベイジアン推論として、モンテカルロドロップアウトを用いることで、予測の不確実性を推定する。
• マックスアポストリアリ（MAP）推定のための凸最適化問題を解き、推定されたノード関係と整合性のある構造的整合性を保証する。
• 最終的なモデルを推定されたグラフ（Â_G）上で学習させ、より頑健な半教師ありノード分類を実現する。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴量とラベルを統合した非パラメトリックなグラフ推定は、グラフの不確実性下でもGCNNの頑健性を向上させるか？
• RQ2 非パラメトリック事前分布を用いたグラフ構造とGCNN重みの同時推定は、パラメトリックな代替手法と比較して、ラベルが少ない状況下でどのように性能を発揮するか？
• RQ3 ラベル情報と特徴量類似度をグラフ事後分布推定に組み込むことで、ノード分類における過学習の低減と一般化性能の向上がどの程度達成されるか？
• RQ4 提案手法は、限られた学習ラベルを用いた半教師ありノード分類において、既存のベイジアンおよび非ベイジアンGCNNを上回る性能を発揮するか？

主な発見

• Coraデータセットでは、クラスあたり5ラベルの条件下で76.0% ± 1.1の精度を達成し、以前の最先端のBGCN（75.3% ± 0.8）とGCNN（74.4% ± 0.8）を上回った。
• Citeseerでは、クラスあたり10ラベルの条件下で71.7% ± 0.8の精度を達成し、以前のBGCN（70.8% ± 0.6）とGCNN（65.8% ± 1.1）を上回った。
• Pubmedデータセットでは、クラスあたり20ラベルの条件下で79.2% ± 0.5の精度を達成し、以前のBGCN（76.6% ± 0.7）とGCNN（78.9% ± 0.3）を上回った。
• 推定されたグラフ（Â_G）は、同じラベルのノード同士の接続が観測されたグラフよりも密になっていることが示され、真の潜在的関係とより整合した構造を示している。
• 本手法は、度数が低いノードにおける誤分類の是正をベースラインのGCNNよりも多く行い、グラフのスパースな領域でも頑健性が向上していることが示された。
• 可視化により、ラベルと特徴量情報の統合のおかげで、MAP推定されたグラフ構造がクラスごとのクラスタリングをよりよく捉えていることが確認された。特にCoraとCiteseerで顕著であった。