[논문 리뷰] Adversarially Regularized Graph Autoencoder for Graph Embedding

Shirui Pan, Ruiqi Hu외 4명|arXiv (Cornell University)|2018. 02. 13.

Advanced Graph Neural Networks참고 문헌 24인용 수 70

한 줄 요약

ARGA와 ARVGA가 그래프 합성곱 자동인코더를 적대적 정규화와 결합하여 사전 분포를 맞추고 그래프 임베딩을 함께 학습함으로써 기초선보다 연결 예측, 클러스터링 및 시각화를 개선한다.

ABSTRACT

Graph embedding is an effective method to represent graph data in a low dimensional space for graph analytics. Most existing embedding algorithms typically focus on preserving the topological structure or minimizing the reconstruction errors of graph data, but they have mostly ignored the data distribution of the latent codes from the graphs, which often results in inferior embedding in real-world graph data. In this paper, we propose a novel adversarial graph embedding framework for graph data. The framework encodes the topological structure and node content in a graph to a compact representation, on which a decoder is trained to reconstruct the graph structure. Furthermore, the latent representation is enforced to match a prior distribution via an adversarial training scheme. To learn a robust embedding, two variants of adversarial approaches, adversarially regularized graph autoencoder (ARGA) and adversarially regularized variational graph autoencoder (ARVGA), are developed. Experimental studies on real-world graphs validate our design and demonstrate that our algorithms outperform baselines by a wide margin in link prediction, graph clustering, and graph visualization tasks.

연구 동기 및 목표

• 잠재 데이터 분포를 존중하는 견고한 그래프 임베딩의 필요성을 구조 재구성뿐만 아니라 제시.
• 구조, 콘텐츠, 사전 잠재 분포를 통합하는 두 가지 적대적 규칙화 그래프 임베딩 모델(ARGA 및 ARVGA)을 제안.
• 무감독 학습 작업에서의 우수한 성능 시연: 연결 예측, 노드 클러스터링, 그래프 시각화.

제안 방법

• 그래프 컨볼루션 인코더로 그래프 구조와 노드 콘텐츠를 인코딩하여 잠재 표현 Z를 얻음.
• Z에서 링크 예측 층을 통해 그래프 인접 행렬 A를 재구성하도록 디코딩.
• 판별기를 사용하여 Z가 가우시안 등 사전 분포를 따르도록 적대적으로 강제하여 잠재 코드를 규칙화.
• 적대 모듈과 함께 ARGA(그래프 오토인코더)와 ARVGA(변분형 그래프 오토인코더)를 공동 최적화로 학습.
• 최적화는 재구성의 L0, 변분 하한의 L1, 그리고 적대 손실(Eq. 12 및 13)을 포함.
• 인코더 변형에는 두 계층 GCN이 포함되며 Z = q(Z|X,A)이고 사전 분포 p(Z)는 Gaussian.

실험 결과

연구 질문

• RQ1 적대적 규칙화가 재구성 기반 목표를 넘어 그래프 임베딩의 품질을 개선할 수 있는가?
• RQ2 ARGA 및 ARVGA가 기존 그래프 임베딩 방법에 비해 연결 예측, 클러스터링 및 시각화를 향상시키는 임베딩을 생성하는가?
• RQ3 GCN을 통해 그래프 구조와 노드 콘텐츠 모두를 포함시키는 것이 다운스트림 무감독 작업에 어떤 영향을 미치는가?
• RQ4 변분 인코더(ARGVGA) 대비 표준 그래프 오토인코더(ARGA)의 영향은 무엇인가?

주요 결과

• ARGA 및 ARVGA는 벤치마크 그래프에서 높은 링크 예측 성능을 달성하며 Cora, Citeseer, PubMed 데이터셋에서 AP와 AUC 점수가 약 92%에 도달합니다.
• 클러스터링에서 ARGA/ARVGA는 Cora 및 Citeseer에서 대조군 대비 Acc, NMI, F1, Precision, 및 ARI를 크게 향상시킵니다.
• 학습된 임베딩의 시각화(t-SNE)는 ARGA/ARVGA가 기초선보다 더 의미 있는 레이아웃을 보여줍니다.
• VGAE 및 GAE 변형과 비교하여 ARGA/ARVGA가 연결 예측 및 클러스터링 작업에서 상당히 우수합니다(표 2 및 표 3-4에 보고).
• 표 2는 데이터셋 전반에 걸친 AUC 및 AP의 개선을 ARGA/ARVGA가 기초선보다 보임을 보고합니다(예: PubMed에서: ARGE AUC 96.8, ARGE AP 97.1; ARVGE AUC 96.5, ARVGE AP 96.8).