[論文レビュー] Variational Graph Auto-Encoders

Thomas Kipf, Max Welling|arXiv (Cornell University)|Nov 21, 2016

Advanced Graph Neural Networks参考文献 8被引用数 897

ひとこと要約

本論文は Variational Graph Auto-Encoders (VGAE) を導入する。グラフ構造データに対する教師なし学習の確率的枠組みで、グラフ畳み込みエンコーダと内積デコーダを用いてリンク予測を行い、特徴量が性能を向上させる。

ABSTRACT

We introduce the variational graph auto-encoder (VGAE), a framework for unsupervised learning on graph-structured data based on the variational auto-encoder (VAE). This model makes use of latent variables and is capable of learning interpretable latent representations for undirected graphs. We demonstrate this model using a graph convolutional network (GCN) encoder and a simple inner product decoder. Our model achieves competitive results on a link prediction task in citation networks. In contrast to most existing models for unsupervised learning on graph-structured data and link prediction, our model can naturally incorporate node features, which significantly improves predictive performance on a number of benchmark datasets.

研究の動機と目的

• 無向グラフに対する教師なし学習のための確率的潜在変数モデルを開発する。
• 2層のGCNを活用して潜在ノード埋め込みの変分後方分布をパラメータ化する。
• 変分下限を用いて訓練し、グラフに意味のある潜在表現を学習する。
• ノード特徴が利用可能な場合に特にリンク予測性能の改善を実証する。
• ベースラインのグラフ埋め込み法と比較し、特徴量の使用と priors の影響について論じる。

提案手法

• 2層のGCNでパラメータ化された z_i ごとに潜在変数 z_i とガウス事後分布 q(z_i|X,A) を持つ VGAE を定義する。
• A_ij|z_i,z_j は Bernoulli( sigmoid(z_i^T z_j) ) に従う生成モデル p(A|Z) を用いる。
• p(Z)=N(0,I) を用いて、変分下限 L = E_{q(Z|X,A)}[log p(A|Z)] - KL[q(Z|X,A)||p(Z)] を最適化する。
• リパラメタリゼーション・トリックと全バッチ勾配降下法を用いて学習する。
• Z Z^T を sigmoid 経由で A の再構成として用いる確率的でない GAE 変種を提供する。
• 特徴量ありとなしの設定（X を使用する場合とアイデンティティの場合）を実験する。
• リンク予測において VGAE/GAE をスペクトラルクラスタリングと DeepWalk のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 変分アプローチは無監督でグラフのノードに意味のある潜在埋め込みを学習できるのか？
• RQ2 ノード特徴の組み込みは特徴なしのバリアントに比べてリンク予測性能を向上させるか？
• RQ3 VGAE/GAE は引用ネットワーク上で既存のベースライン（スペクトラルクラスタリング、DeepWalk）とどう比較されるか？
• RQ4 内積デコーダと確率的事前分布（Gaussian Z）を使用することが性能に与える影響は？

主な発見

手法	Cora AUC	Cora AP	Citeseer AUC	Citeseer AP	Pubmed AUC	Pubmed AP
SC tang2011leveraging	84.6±0.01	88.5±0.00	80.5±0.01	85.0±0.01	84.2±0.02	87.8±0.01
DW perozzi2014deepwalk	83.1±0.01	85.0±0.00	80.5±0.02	83.6±0.01	84.4±0.00	84.1±0.00
GAE*	84.3±0.02	88.1±0.01	78.7±0.02	84.1±0.02	82.2±0.01	87.4±0.00
VGAE*	84.0±0.02	87.7±0.01	78.9±0.03	84.1±0.02	82.7±0.01	87.5±0.01
GAE	91.0±0.02	92.0±0.03	89.5±0.04	89.9±0.05	96.4±0.00	96.5±0.00
VGAE	91.4±0.01	92.6±0.01	90.8±0.02	92.0±0.02	94.4±0.02	94.7±0.02

• VGAE と GAE は引用ネットワークにおけるリンク予測で競争力のある結果を達成している。
• ノード特徴の組み込みはデータセット全体で予測性能を大幅に向上させる。
• 特徴なしバリアントは妥当な性能だが、通常は特徴を備えたモデルには及ばない。
• 特徴を持つ GAE および VGAE は Cora, Citeseer, Pubmed のほとんどの指標でベースラインを上回る。
• ガウス prior は内積デコーダと組み合わせると最適でない可能性があり、より良い priors やモデルの余地を示唆する。
• 全バッチ勾配降下法とリパラメタリゼーション・トリックを用いて訓練される。今後の課題にはスケーラビリティの向上が含まれる。