[논문 리뷰] Semi-Implicit Graph Variational Auto-Encoders

Arman Hasanzadeh, Ehsan Hajiramezanali외 4명|arXiv (Cornell University)|2019. 08. 19.

Ferroelectric and Negative Capacitance Devices참고 문헌 38인용 수 42

한 줄 요약

SIG-VAE는 이웃 의존적 포스터 공유 및 Bernoulli-Poisson 디코더를 갖춘 그래프 자동인코더를 위한 반-암시적 계층적 변분 프레임워크를 제시하여, 링크 예측과 해석 가능한 잠재 표현에서 우수한 성능을 달성한다.

ABSTRACT

Semi-implicit graph variational auto-encoder (SIG-VAE) is proposed to expand the flexibility of variational graph auto-encoders (VGAE) to model graph data. SIG-VAE employs a hierarchical variational framework to enable neighboring node sharing for better generative modeling of graph dependency structure, together with a Bernoulli-Poisson link decoder. Not only does this hierarchical construction provide a more flexible generative graph model to better capture real-world graph properties, but also does SIG-VAE naturally lead to semi-implicit hierarchical variational inference that allows faithful modeling of implicit posteriors of given graph data, which may exhibit heavy tails, multiple modes, skewness, and rich dependency structures. Compared to VGAE, the derived graph latent representations by SIG-VAE are more interpretable, due to more expressive generative model and more faithful inference enabled by the flexible semi-implicit construction. Extensive experiments with a variety of graph data show that SIG-VAE significantly outperforms state-of-the-art methods on several different graph analytic tasks.

연구 동기 및 목표

• 그래프의 실제 특성과 불확실성을 포착하기 위해 VGAE에서 유연한 포스터리오 모델링의 필요성을 동기화한다.
• 그래프 이웃 정보를 전파하면서 암시적 포스트를 가능하게 하는 반-암시적 계층적 변분 프레임워크를 제안한다.
• 희소한 실제 그래프를 더 잘 모델링하기 위해 Bernoulli-Poisson 디코더를 도입한다.
• 다양한 실험을 통해 SIG-VAE가 링크 예측, 그래프 생성, 노드 분류에서 최첨단 기법보다 우수하다는 것을 입증한다.

제안 방법

• 확률적 계층을 주입하고 이웃 정보를 GNN을 통해 전파하는 계층적 인코더를 도입한다(식 5-6).
• 해석적 하한을 가진 암시적 포스터를 모델링하기 위해 반-암시적 변분 추론(SIVI) 접근법을 채택한다(식 1, 2, 8).
• 희소 그래프를 생성하기 위한 Bernoulli-Poisson 연결 디코더를 사용한다(식 7).
• 이웃 분포 공유의 이점을 보여주기 위해 SIVI-VGAE와 NF-VGAE 비교 기법과의 대조를 수행한다.
• 암시적 포스터에 대해 ELBO 기반 최적화와 몬테 카를로 추정을 사용해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 반-암시적 계층적 변분 프레임워크가 표준 VGAE보다 그래프 구조 데이터의 복잡한 후분포를 더 잘 포착할 수 있는가?
• RQ2 이웃 분포 공유를 도입하면 그래프 의존성 모델링과 링크 예측, 클러스터링과 같은 다운스트림 작업이 개선되는가?
• RQ3 Bernoulli-Poisson 디코더가 내부곱 디코더와 비교하여 희소한 실제 그래프의 모델링을 개선하는가?
• RQ4 SIG-VAE는 노드 속성 유무에 관계없이 SIVI-VGAE 및 NF-VGAE와 비교하여 벤치마크에서 어떤 성능을 보이는가?

주요 결과

방법	Cora AUC	Cora AP	Citeseer AUC	Citeseer AP	Pubmed AUC	Pubmed AP
SC	84.6±0.01	88.5±0.00	80.5±0.01	85.0±0.01	84.2±0.02	87.8±0.01
DW	83.1±0.01	85.0±0.00	80.5±0.02	83.6±0.01	84.4±0.00	84.1±0.00
GAE	91.0±0.02	92.0±0.03	89.5±0.04	89.9±0.05	96.4±0.00	96.5±0.00
VGAE	91.4±0.01	92.6±0.01	90.8±0.02	92.0±0.02	94.4±0.02	94.7±0.02
S-VGAE [11]	94.10±0.1	94.10±0.3	94.70±0.2	95.20±0.2	96.00±0.1	96.00±0.1
SEAL	90.09±0.1	83.01±0.3	83.56±0.2	77.58±0.2	96.71±0.1	90.10±0.1
G2G	92.10±0.9	92.58±0.8	95.32±0.7	95.57±0.7	94.28±0.3	93.38±0.5
NF-VGAE	92.42±0.6	93.08±0.5	91.76±0.3	93.04±0.8	96.59±0.3	96.68±0.4
Naive SIG-VAE	93.97±0.5	93.29±0.4	94.25±0.8	93.60±0.9	96.53±0.7	96.01±0.5
SIG-VAE (IP)	94.37±0.1	94.41±0.1	95.90±0.1	95.46±0.1	96.73±0.1	96.67±0.1
SIG-VAE	96.04±0.04	95.82±0.06	96.43±0.02	96.32±0.02	97.01±0.07	97.15±0.04

• SIG-VAE는 VGAE보다 더 해석 가능하고 유연한 잠재 표현을 제공하며, 다중 모드 및 왜곡된 후분포를 포착한다.
• 노드 속성 데이터셋(Cora, Citeseer, Pubmed)에서 IP(inner-product) 디코딩을 사용한 SIG-VAE와 전체 SIG-VAE가 모든 지표에서 최상위 AUC/AP를 달성하며 VGAE, SEAL, NF-VGAE 등의 기법을 능가한다.
• SIG-VAE는 링크 예측 정확도를 일관되게 향상시키며, Bernoulli-Poisson 디코더를 사용할 때 더 희소한 그래프에서 더 큰 이점을 보인다.
• 모델은 현실 세계와 합성 그래프에서 강력한 성능을 보여주고 불확실성 추정도 안정적이다(표준편차가 더 작다).
• SIG-VAE는 실제 네트워크와 유사한 통계를 가진 그래프를 생성할 수 있어 생성 능력을 입증한다.