[論文レビュー] Adversarially Regularized Graph Autoencoder for Graph Embedding

Shirui Pan, Ruiqi Hu+4 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Graph Neural Networks参考文献 24被引用数 70

ひとこと要約

ARGAとARVGAは、グラフ畳み込みオートエンコーダと敵対的正則化を組み合わせて事前分布に適合させることでグラフ埋め込みを共同で学習し、リンク予測、クラスタリング、可視化をベースラインより改善します。

ABSTRACT

Graph embedding is an effective method to represent graph data in a low dimensional space for graph analytics. Most existing embedding algorithms typically focus on preserving the topological structure or minimizing the reconstruction errors of graph data, but they have mostly ignored the data distribution of the latent codes from the graphs, which often results in inferior embedding in real-world graph data. In this paper, we propose a novel adversarial graph embedding framework for graph data. The framework encodes the topological structure and node content in a graph to a compact representation, on which a decoder is trained to reconstruct the graph structure. Furthermore, the latent representation is enforced to match a prior distribution via an adversarial training scheme. To learn a robust embedding, two variants of adversarial approaches, adversarially regularized graph autoencoder (ARGA) and adversarially regularized variational graph autoencoder (ARVGA), are developed. Experimental studies on real-world graphs validate our design and demonstrate that our algorithms outperform baselines by a wide margin in link prediction, graph clustering, and graph visualization tasks.

研究の動機と目的

• 潜在データ分布を尊重しつつ構造再構成だけでなく堅牢なグラフ埋め込みの必要性を動機づける。
• 構造、内容、事前分布・潜在分布を統合する二つの敵対的正則化グラフ埋め込みモデル（ARGAとARVGA）を提案する。
• 教師なしタスク：リンク予測、ノードクラスタリング、グラフ可視化で優れた性能を示す。

提案手法

• グラフ構造とノード内容をグラフ畳み込みエンコーダでエンコードして潜在表現Zを取得する。
• Zからリンク予測層を用いて隣接行列Aを再構築するためにデコードする。
• 識別器を用いてZを事前分布（ガウス分布）に一致させるよう敵対的に正則化する。
• 敵対的モジュールを含む共同最適化でARGA（グラフオートエンコーダ）とARVGA（変分グラフオートエンコーダ）を訓練する。
• 最適化は再構成のL0、変分下界のL1、敵対的損失（Eq. 12と13）を含む。
• エンコーダの変種には二層のGCNを含むものがあり、Z = q(Z|X,A)とガウス prior p(Z)を持つ。

実験結果

リサーチクエスチョン

• RQ1 敵対的正則化は再構成目的以上にグラフ埋め込みの質を向上させることができるか。
• RQ2 ARGAとARVGAは既存のグラフ埋め込み手法と比べてリンク予測、クラスタリング、可視化を改善する埋め込みを生成するか。
• RQ3 GCNを通してグラフ構造とノード内容の両方を取り入れることで、下流の教師なしタスクにどのような影響があるか。
• RQ4 変分エンコーダ（ARVGA）を使用する場合と標準のグラフオートエンコーダ（ARGA）を使用する場合の違いは何か。

主な発見

データセット	AUC (Cora)	AP (Cora)	AUC (Citeseer)	AP (Citeseer)	AUC (PubMed)	AP (PubMed)
ARGE	92.4 ± 0.003	93.2 ± 0.003	91.9 ± 0.003	93.0 ± 0.003	96.8 ± 0.001	97.1 ± 0.001
ARVGE	92.4 ± 0.004	92.6 ± 0.004	92.4 ± 0.003	93.0 ± 0.003	96.5 ± 0.001	96.8 ± 0.001

• ARGAとARVGAはベンチマークグラフで高いリンク予測性能を達成し、Cora、Citeseer、PubMedの各データセットでAPとAUCスコアが約92%に達する。
• クラスタリングでは、ARGA/ARVGAはCoraとCiteseerでAcc、NMI、F1、Precision、ARIをベースラインより大幅に改善。
• 学習された埋め込みのt-SNEでの可視化は、ARGA/ARVGAがベースラインと比較してより意味のあるレイアウトを示す。
• VGAEおよびGAE系の変法と比較して、ARGA/ARVGAはリンク予測とクラスタリングの両タスクで有意に上回る（表2および表3-4に記載）。
• 表2はデータセット全体のAUCとAPのARGA/ARVGAによる改善を報告する（例：PubMedではARGE AUC 96.8、ARGE AP 97.1；ARVGE AUC 96.5、ARVGE AP 96.8）。