[論文レビュー] Bayesian graph convolutional neural networks for semi-supervised classification

Yingxue Zhang, Soumyasundar Pal+2 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Graph Neural Networks参考文献 2被引用数 23

ひとこと要約

本稿では、グラフ構造を不確実性を伴うものとして扱い、パラメトリックな確率的グラフ（同調的混合所属スモール・ブロック・モデル）によってモデル化することで、グラフパラメータとノードラベルの共同推論を可能にするベイジアン・グラフ畳み込みニューラルネットワーク（ベイジアンGCNN）を提案する。この手法は、ラベルが少ない状況での一般化性能を向上させるとともに、敵対的エッジ摂動に対して高い耐性を示し、標準的なGCNNよりも精度とマージンの維持において優れた性能を発揮する。

ABSTRACT

Recently, techniques for applying convolutional neural networks to graph-structured data have emerged. Graph convolutional neural networks (GCNNs) have been used to address node and graph classification and matrix completion. Although the performance has been impressive, the current implementations have limited capability to incorporate uncertainty in the graph structure. Almost all GCNNs process a graph as though it is a ground-truth depiction of the relationship between nodes, but often the graphs employed in applications are themselves derived from noisy data or modelling assumptions. Spurious edges may be included; other edges may be missing between nodes that have very strong relationships. In this paper we adopt a Bayesian approach, viewing the observed graph as a realization from a parametric family of random graphs. We then target inference of the joint posterior of the random graph parameters and the node (or graph) labels. We present the Bayesian GCNN framework and develop an iterative learning procedure for the case of assortative mixed-membership stochastic block models. We present the results of experiments that demonstrate that the Bayesian formulation can provide better performance when there are very few labels available during the training process.

研究の動機と目的

• 標準的なGCNNがグラフトポロジーを真の値として扱うという限界を是正する。
• ノイズ混じりまたは不完全なグラフデータから、グラフパラメータとノードラベルを同時に推論するベイジアンフレームワークを構築する。
• ラベル付きノードが僅かである状況において、モデルの一般化性能と耐性を向上させる。
• ランダムおよび敵対的エッジ摂動に対するベイジアンGCNNの耐性を評価する。

提案手法

• 観測されたグラフを、特に同調的混合所属スモール・ブロック・モデルであるパラメトリックな確率的グラフ族からの実現とモデル化する。
• 近似ベイジアン推論を用いて、グラフパラメータとノードラベルの同時後確率推定を実行する。
• 最尤推定のための確率的最適化を用いて、グラフパラメータの最大後確率推定値を計算する。
• モンテカルロドロップアウトを用いて、ベイジアンGCNNの重みを近似的に変分推論でサンプリングする。
• 反復的学習手順を用いて、グラフ構造パラメータとニューラルネットワーク重みの両方を更新する。
• 不確実なグラフ上でメッセージパッシングにより特徴を更新するベイジアンニューラルネットワークフレームワーク内に、グラフ畳み込み演算を統合する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きノードが僅かである状況で、GCNNのベイジアン定式化が性能向上をもたらすか？
• RQ2 グラフ構造を不確実なものとしてモデル化することで、ランダムまたは敵対的エッジ摂動に対する耐性がどのように向上するか？
• RQ3 標準的なGCNNと比較して、ベイジアンGCNNはグラフトポロジー攻撃下でも分類器のマージンをどの程度維持できるか？
• RQ4 グラフパラメータとノードラベルの共同推論は、標準的なGCNNと比較して、より優れた一般化性能をもたらすか？

主な発見

• Coraデータセットでは、攻撃なしの状況でベイジアンGCNNは86.50%の精度を維持し、ランダムエッジ攻撃時も69.50%を示した。これに対して標準GCNNは85.55%と55.50%であった。
• Citeseerデータセットでは、攻撃なしでベイジアンGCNNは87.0%の精度、ランダム攻撃時も66.5%を達成した。標準GCNNはそれぞれ88.5%と43.0%であった。
• 攻撃下でもベイジアンGCNNはより高い平均分類器マージンを維持した：Coraでは0.387、Citeseerでは0.335であった。標準GCNNはそれぞれ0.152と0.014であった。
• ランダム攻撃後の誤分類ノード数を減らした：GCNNのほぼ半分のノードが誤分類されたが、ベイジアンGCNNでは著しく少ない変化が観察された。
• 攻撃下での精度低下率は、Coraで17%、Citeseerで20.5%であった。標準GCNNはそれぞれ30%と44.5%の低下を示した。
• ラベルが少ない状況でも一般化性能が向上し、低データ環境下でも一貫した性能向上が得られた。