[論文レビュー] Semi-Implicit Graph Variational Auto-Encoders

Arman Hasanzadeh, Ehsan Hajiramezanali+4 more|arXiv (Cornell University)|Aug 19, 2019

Ferroelectric and Negative Capacitance Devices参考文献 38被引用数 42

ひとこと要約

SIG-VAE は、近傍依存の posterior 共有と Bernoulli-Poisson デコーダを備えた半明示的・階層的なグラフ変分オートエンコーダフレームワークを導入し、リンク予測と潜在表現の解釈性で優れる。

ABSTRACT

Semi-implicit graph variational auto-encoder (SIG-VAE) is proposed to expand the flexibility of variational graph auto-encoders (VGAE) to model graph data. SIG-VAE employs a hierarchical variational framework to enable neighboring node sharing for better generative modeling of graph dependency structure, together with a Bernoulli-Poisson link decoder. Not only does this hierarchical construction provide a more flexible generative graph model to better capture real-world graph properties, but also does SIG-VAE naturally lead to semi-implicit hierarchical variational inference that allows faithful modeling of implicit posteriors of given graph data, which may exhibit heavy tails, multiple modes, skewness, and rich dependency structures. Compared to VGAE, the derived graph latent representations by SIG-VAE are more interpretable, due to more expressive generative model and more faithful inference enabled by the flexible semi-implicit construction. Extensive experiments with a variety of graph data show that SIG-VAE significantly outperforms state-of-the-art methods on several different graph analytic tasks.

研究の動機と目的

• VGAE における柔軟な事後モデリングの必要性を動機づけ、現実世界のグラフ特性と不確実性を捉える。
• グラフ近傍情報を伝播させつつ、暗黙の事後を可能にする半陰的階層的変分フレームワークを提案する。
• ベルヌーイ-ポアソンデコーダを導入し、現実世界のスパースなグラフをより適切にモデル化する。
• 広範な実験を通じて、SIG-VAE がリンク予測、グラフ生成、ノード分類のいずれにおいても最先端のベースラインを上回ることを示す。

提案手法

• 確率的層を注入し、GNN を介して近傍情報を伝搬させる階層型エンコーダを導入する（式 5-6）。
• 解ける下限を持つ暗黙の事後をモデル化する半陰的変分推論（SIVI）アプローチを採用する（式 1, 2, 8）。
• ベルヌーイ-ポアソンリンクデコーダを用いてスパースなグラフを生成する（式 7）。
• 近傍分布共有の利点を示すために、SIVI-VGAE および NF-VGAE のベースラインと比較する。
• 暗黙の事後のモンテカルロ推定と ELBO ベースの最適化を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 半陰的階層型変分フレームワークは、標準 VGAE よりもグラフ構造データにおける複雑な事後分布をより適切に捉えられるか？
• RQ2 近傍分布共有の組み込みは、グラフ依存性のモデリングやリンク予測・クラスタリングといった下流タスクを改善するか？
• RQ3 ベルヌーイ-ポアソンデコーダは、内積デコーダと比較して現実世界のスパースなグラフのモデリングを改善するか？
• RQ4 ノード属性の有無を含むベンチマークにおいて、SIG-VAE は SIVI-VGAE および NF-VGAE と比べてどのように性能を発揮するか？

主な発見

Method	Cora AUC	Cora AP	Citeseer AUC	Citeseer AP	Pubmed AUC	Pubmed AP
SC	84.6±0.01	88.5±0.00	80.5±0.01	85.0±0.01	84.2±0.02	87.8±0.01
DW	83.1±0.01	85.0±0.00	80.5±0.02	83.6±0.01	84.4±0.00	84.1±0.00
GAE	91.0±0.02	92.0±0.03	89.5±0.04	89.9±0.05	96.4±0.00	96.5±0.00
VGAE	91.4±0.01	92.6±0.01	90.8±0.02	92.0±0.02	94.4±0.02	94.7±0.02
S-VGAE [11]	94.10±0.1	94.10±0.3	94.70±0.2	95.20±0.2	96.00±0.1	96.00±0.1
SEAL	90.09±0.1	83.01±0.3	83.56±0.2	77.58±0.2	96.71±0.1	90.10±0.1
G2G	92.10±0.9	92.58±0.8	95.32±0.7	95.57±0.7	94.28±0.3	93.38±0.5
NF-VGAE	92.42±0.6	93.08±0.5	91.76±0.3	93.04±0.8	96.59±0.3	96.68±0.4
Naive SIG-VAE	93.97±0.5	93.29±0.4	94.25±0.8	93.60±0.9	96.53±0.7	96.01±0.5
SIG-VAE (IP)	94.37±0.1	94.41±0.1	95.90±0.1	95.46±0.1	96.73±0.1	96.67±0.1
SIG-VAE	96.04±0.04	95.82±0.06	96.43±0.02	96.32±0.02	97.01±0.07	97.15±0.04

• SIG-VAE は VGAE よりも解釈性が高く柔軟な潜在表現を生み出し、多峰性・歪んだ事後を捉える。
• ノード属性データセット（Cora、Citeseer、Pubmed）では、内積デコード（IP）を用いる SIG-VAE および全体の SIG-VAE が指標を横断してトップの AUC/AP を達成し、VGAE、SEAL、NF-VGAE などのベースラインを上回る。
• SIG-VAE はリンク予測精度を一貫して向上させ、ベルヌーイ-ポアソンデコーダを用いたときにはよりスパースなグラフでより大きな改善を示す。
• 現実世界および合成グラフの両方で高いパフォーマンスを示し、安定した不確実性推定（標準偏差が小さい）を提供する。
• SIG-VAE は現実世界のネットワークに極めて近い統計を持つグラフを生成できることを示し、生成能力を示す。