[論文レビュー] Variational Inference for Graph Convolutional Networks in the Absence of Graph Data and Adversarial Settings

Pantelis Elinas, Edwin V. Bonilla+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Graph Neural Networks参考文献 50被引用数 24

ひとこと要約

本稿では、入力グラフデータが存在しない状況でも、敵対的摂動に対して頑健である、グラフ畳み込みネットワーク（GCN）向けの変分推論フレームワークを提案する。隣接行列を事前分布を用いた潜在変数としてモデル化し、勾配伝播を可能にするコンクリート緩和を用いることで、グラフ構造とGCNパラメータを同時に推論する。この手法は、グラフが存在しない状況や敵対的攻撃下において、最先端のベイジアンおよび非ベイジアンGNNを上回る半教師あり分類性能を示す。

ABSTRACT

We propose a framework that lifts the capabilities of graph convolutional networks (GCNs) to scenarios where no input graph is given and increases their robustness to adversarial attacks. We formulate a joint probabilistic model that considers a prior distribution over graphs along with a GCN-based likelihood and develop a stochastic variational inference algorithm to estimate the graph posterior and the GCN parameters jointly. To address the problem of propagating gradients through latent variables drawn from discrete distributions, we use their continuous relaxations known as Concrete distributions. We show that, on real datasets, our approach can outperform state-of-the-art Bayesian and non-Bayesian graph neural network algorithms on the task of semi-supervised classification in the absence of graph data and when the network structure is subjected to adversarial perturbations.

研究の動機と目的

• 信頼できる入力グラフが利用できない、またはグラフが敵対的に摂動された場合に生じるGCNの限界を解消すること。
• 不確実性下でグラフ構造とGCNパラメータを同時に推論する、整合的な確率的フレームワークを構築すること。
• エッジの追加や削除といった敵対的エッジ操作に対して、GCNの頑健性を向上させること。
• グラフが提供されていない、あるいは信頼できない状況でも、GCNのエンドツーエンド学習を可能にすること。
• モデルがデータのみから意味的でタスク最適化されたグラフ構造を学習できることを示すこと。

提案手法

• 隣接行列に事前分布を設定し、ノード分類のためのGCNベースの尤度関数を用いた、同時確率モデルを構築する。
• 潜在的グラフ構造とGCNパラメータの事後分布を近似するために、確率的変分推論を適用する。
• 離散的隣接行列の連続的緩和としてのコンクリート分布を用い、微分可能な事後分布推定を可能にする。
• コンクリート分布に再パrameter化トリックを適用し、確率的グラフサンプルを通じて勾配を逆伝播可能にする。
• グラフ再構築と分類性能のバランスを取るための変分下界（ELBO）を導入する。
• スケーラビリティを高めるために、グラフのブロック対角近似を用いて、フルバッチおよびミニバッチ学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 入力グラフが提供されない状況下で、GCNベースのモデルはデータから有効なグラフ構造を学習できるか？
• RQ2 エッジの追加や削除といった敵対的エッジ摂動下で、提案された変分推論フレームワークはどの程度の性能を示すか？
• RQ3 グラフ構造の推論能力が、ベースラインと比較して半教師あり分類精度の向上に寄与するか？
• RQ4 モデルは、誤ったまたは敵対的なエッジの影響を学習段階で抑制できるか？
• RQ5 コンクリート緩和の使用が、離散的グラフ構造上で勾配ベース最適化を効果的に行うのにどのように寄与するか？

主な発見

• 提案されたVGNN（変分GCN）は、入力グラフが存在しない状況下で、最先端のベイジアンおよび非ベイジアンGNNを上回る半教師ありノード分類性能を示す。
• CoraおよびCiteseerデータセットにおいて、50%のエッジが敵対的に追加されても、VGNNはGCN、GAT、RGCNを上回る高い精度を維持する。
• エッジ削除攻撃の状況では、他の手法と比較して僅かな性能低下と低い分散を示し、特にランダムなデータ分割下でも顕著である。
• 追加されたエッジの影響を効果的に抑制しており、後験的確率が0.5を超える偽のエッジはわずかに数個にとどまり、頑健性が裏付けられる。
• ブロック対角近似を用いたミニバッチ学習により、PubMedのような大規模データセットでも学習が可能となり、敵対的環境下でも優れた性能を維持する。
• ランダムなデータ分割を用いた実験により、VGNNの優位性が固定された訓練/検証分割に起因するものではないことが確認された。