[論文レビュー] Variational Spectral Graph Convolutional Networks.

Louis C. Tiao, Pantelis Elinas+2 more|arXiv (Cornell University)|Jun 5, 2019

Adversarial Robustness in Machine Learning参考文献 1被引用数 9

ひとこと要約

本論文は、入力グラフを必要とせずに、データからグラフ構造とGCNパラメータを同時に推定する変分スペクトルグラフ畳み込みネットワークを提案する。異なるiableな潜在グラフサンプリングにConcreteリラクゼーションを用いることで、グラフに依存しないおよび悪意のある設定下での半教師あり分類において最先端の性能を達成した。

ABSTRACT

We propose a framework that lifts the capabilities of graph convolutional networks (GCNs) to scenarios where no input graph is given and increases their robustness to adversarial attacks. We formulate a joint probabilistic model that considers a prior distribution over graphs along with a GCN-based likelihood and develop a stochastic variational inference algorithm to estimate the graph posterior and the GCN parameters jointly. To address the problem of propagating gradients through latent variables drawn from discrete distributions, we use their continuous relaxations known as Concrete distributions. We show that, on real datasets, our approach can outperform state-of-the-art Bayesian and non-Bayesian graph neural network algorithms on the task of semi-supervised classification in the absence of graph data and when the network structure is subjected to adversarial perturbations.

研究の動機と目的

• 入力グラフ構造が存在しない状況でも、グラフ畳み込みネットワークが効果的に動作できるようにすること。
• グラフ構造に対する悪意ある摂動からGCNの耐性を高めること。
• 変分推論を用いてグラフとGCNパラメータの両方を同時に推論する統計的確率モデルを構築すること。
• 連続的リラクゼーションを用いて、離散的潜在グラフ変数を介して勾配を誤差逆伝播可能にし、エンドツーエンドの学習を可能にすること。

提案手法

• ノード分類のためのGCNベースの尤度とグラフ上の事前分布を組み合わせた統合確率モデルを定式化する。
• 潜在グラフの事後分布を近似し、GCNパラメータを最適化するために確率的変分推論を採用する。
• 離散的潜在グラフサンプルを介した勾配逆伝播を可能にするために、Concrete分布を連続的リラクゼーションとして用いる。
• グラフラプラシアンに基づくメッセージパッシングを活用するため、GCN内でスペクトル畳み込み演算を適用する。
• Concreteリラクゼーションからの再パrameter化勾配を用いて、変分下界（ELBO）を最適化する。
• エンドツーエンドで微分可能になるように、グラフ構造の発見とGCNパラメータの学習を統合的に訓練可能にする。

実験結果

リサーチクエスチョン

• RQ1 入力グラフが提供されない状況でも、データとグラフ上の事前分布に依存してGCNを効果的に学習できるか？
• RQ2 微分可能なフレームワーク内で、離散的潜在グラフ変数に対して勾配ベースの最適化をどのように適用できるか？
• RQ3 提案手法は、従来の手法と比較して、悪意あるグラフ摂動に対する耐性をどの程度向上させるか？
• RQ4 グラフ構造とGCNパラメータの共同学習は、半教師ありノード分類における一般化性能を向上させるか？

主な発見

• 提案手法は、入力グラフなしの半教師ありノード分類において、最先端のベイジアンおよび非ベイジアングラフニューラルネットワークを上回った。
• 悪意ある攻撃に対する耐性が優れており、摂動下でも高い精度を維持した。
• Concreteリラクゼーションの使用により、離散的潜在グラフ変数を介した効果的な誤差逆伝播が可能になり、エンドツーエンド学習が実現した。
• グラフ構造とGCNパラメータの共同推論は、真のグラフが不明または損傷している場合でさえ、実世界のデータセットにおいて性能を向上させた。