[論文レビュー] Bayesian Graph Convolutional Neural Networks using Node Copying

Soumyasundar Pal, Florence Regol+1 more|arXiv (Cornell University)|Nov 8, 2019

Advanced Graph Neural Networks参考文献 35被引用数 13

ひとこと要約

本稿では、ノードのコピーメカニズムを用いてグラフを生成するベイジアングラフ畳み込みニューラルネットワーク（BGCN）を提案する。ノード特徴量と学習ラベルをトポロジー推定に組み込むことで、半教師ありノード分類を向上させる。観測されたトポロジーとノードレベルの情報を条件としてグラフ構造の推定を行うことで、ラベルが限られた状況でも、Cora、Citeseer、Pubmedデータセットにおいて、先行するBGCNおよびGCNNベースラインを上回る性能を発揮する。

ABSTRACT

Graph convolutional neural networks (GCNN) have numerous applications in different graph based learning tasks. Although the techniques obtain impressive results, they often fall short in accounting for the uncertainty associated with the underlying graph structure. In the recently proposed Bayesian GCNN (BGCN) framework, this issue is tackled by viewing the observed graph as a sample from a parametric random graph model and targeting joint inference of the graph and the GCNN weights. In this paper, we introduce an alternative generative model for graphs based on copying nodes and incorporate it within the BGCN framework. Our approach has the benefit that it uses information provided by the node features and training labels in the graph topology inference. Experiments show that the proposed algorithm compares favorably to the state-of-the-art in benchmark node classification tasks.

研究の動機と目的

• グラフ構造の不確実性を解消するため、グラフを生成プロセスからの確率的サンプルとしてモデル化すること。
• ノード特徴量と学習ラベルをグラフトポロジー推定に統合することで、半教師ありノード分類の性能を向上させること。
• 新しいノードを成長させるのではなく、既存のノードをコピングする生成モデルを開発し、柔軟なトポロジー学習を可能にすること。
• 特にラベルデータが少ない状況において、既存のベイジアンGCNおよびGCNN手法を上回ること。

提案手法

• ノードを既存のノードからコピングすることで新たなエッジを形成する、ノードコピーベースの生成モデルを提案。これにより、構造的および特徴に基づく関係を保持する。
• ノードコピングプロセスをベイジアンGCNフレームワークに統合し、グラフ構造とGCNN重みの同時推定を実現する。
• グラフの事後分布推定を、観測されたトポロジー、ノード特徴量、および学習ラベルに条件づけることで、不確実性を考慮した学習を可能にする。
• グラフとモデル重みの結合事後分布に対する近似推論として、マルコフチェインモンテカルロ（MCMC）サンプリングを用いる。
• ベースライン分類器としてGCNNを採用し、ベイジアンフレームワークにより予測の不確実性を定量化可能にする。
• 大規模グラフへのスケーラビリティ向上のため、制御変数を用いた確率的最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴量とラベルが利用可能な状況で、ノードコピーベースの生成モデルはグラフ構造推定を改善できるか？
• RQ2 ノード特徴量とラベルをグラフトポロジー学習に統合することで、ノード分類性能が向上するか？
• RQ3 提案手法BGCNは、ラベルが少ない状況において、最先端のGCNNおよびベイジアンGCN手法と比較して優れているか？
• RQ4 ノードコピーメカニズムは、ノイズが多いまたは不完全なグラフにおける欠落または誤ったエッジを是正できるか？

主な発見

• 提案されたBGCNは、Cora、Citeseer、Pubmedデータセットにおいて、GCNN、ChebyNet、GAT、および先行BGCNよりも高い分類精度を達成した。
• Coraでクラスあたり5ラベルのランダム分割条件下では、73.8%の精度を達成し、先行BGCN（74.6%）とGCNN（70.0%）を上回った。
• Citeseerでクラスあたり5ラベルの条件下では、63.9%の精度を達成し、先行BGCN（63.0%）とGCNN（58.5%）を上回った。
• Pubmedでクラスあたり5ラベルの条件下では、71.0%の精度を達成し、先行BGCN（70.2%）とGCNN（69.7%）を上回った。
• ラベルが限られた状況で最も顕著な改善が見られた：Coraで5ラベルの場合、GCNN比で3.8ポイントの精度向上を達成した。
• 低次数ノードにおいて、GCNNよりも誤りをより多く是正できたため、グラフのスパース領域における一般化性能が優れていることが示された。