[논문 리뷰] Keep It Simple: Graph Autoencoders Without Graph Convolutional Networks

Guillaume Salha-Galvan, Romain Hennequin외 1명|arXiv (Cornell University)|2019. 10. 02.

Advanced Graph Neural Networks참고 문헌 35인용 수 22

한 줄 요약

이 논문은 그래프 오토인코더(AE)와 변분 오토인코더(VAE)에서 그래프 컨volution 네트워크(GCN)를 대체하기 위해 인접행렬 기반의 단순 선형 인코더를 제안한다. 단순함에도 불구하고, Cora, Citeseer, PubMed와 같은 다양한 실세계 그래프에서 링크 예측 및 노드 클러스터링 작업에서 경쟁적인 성능을 달성하며, 표준 벤치마크에서 복잡한 GCN 인코더의 필요성을 의심스럽게 만든다.

ABSTRACT

Graph autoencoders (AE) and variational autoencoders (VAE) recently emerged as powerful node embedding methods, with promising performances on challenging tasks such as link prediction and node clustering. Graph AE, VAE and most of their extensions rely on graph convolutional networks (GCN) to learn vector space representations of nodes. In this paper, we propose to replace the GCN encoder by a simple linear model w.r.t. the adjacency matrix of the graph. For the two aforementioned tasks, we empirically show that this approach consistently reaches competitive performances w.r.t. GCN-based models for numerous real-world graphs, including the widely used Cora, Citeseer and Pubmed citation networks that became the de facto benchmark datasets for evaluating graph AE and VAE. This result questions the relevance of repeatedly using these three datasets to compare complex graph AE and VAE models. It also emphasizes the effectiveness of simple node encoding schemes for many real-world applications.

연구 동기 및 목표

• 그래프 오토인코더(AE)와 변분 오토인코더(VAE)가 그래프 컨볼루션 네트워크(GCN) 없이도 경쟁적인 성능을 낼 수 있는지 조사하는 것.
• GCN 기반 모델과 비교하여 인접행렬 기반의 최소한의 선형 인코더의 효과성을 평가하는 것.
• 그래프 표현 학습에서 최첨단 성능을 내기 위해 복잡한 GCN 인코더가 필수적이라는 가정을 도전하는 것.
• 일반적으로 사용되는 인용 네트워크(Cora, Citeseer, PubMed)가 고도로 발전된 오토인코더 모델을 공정하게 평가하기에 충분히 복잡한지 평가하는 것.

제안 방법

• 그래프 AE와 VAE에서 GCN 인코더를 인접행렬 A에 적용된 단일 선형 변환으로 대체한다. 이는 단일 가중치 행렬 W로 매개변수화된다.
• 내적 곱 디코더를 사용한다: Â = σ(ZZᵀ), 여기서 Z = WᵀA이며, σ는 시그모이드 함수이다.
• Â와 진짜 인접행렬 A 사이의 가중치가 부여된 교차 엔트로피 재구성 손실을 최소화하기 위해 경사 하강법을 통해 모델을 훈련시킨다.
• VAE의 경우 재구성 기법을 적용하고, 잠재 벡터에 대해 정규 분포 사전을 사용하며, 평균과 로그 분산은 선형 인코더를 통해 예측한다.
• 동일한 선형 인코더를 AE와 VAE 프레임워크에 모두 적용하고, 동일한 디코딩 메커니즘을 유지한다.
• 다양한 실세계 그래프에서 링크 예측(AUC, AP) 및 노드 클러스터링(NMI, 조정된 랜드 지수) 성능을 평가한다.

실험 결과

연구 질문

• RQ1 인접행렬 기반의 단순 선형 인코더가 그래프 오토인코더에서 GCN 기반 인코더를 능가하는가?
• RQ2 일반적으로 사용되는 인용 네트워크(Cora, Citeseer, PubMed)는 복잡한 그래프 오토인코더 모델을 의미 있게 평가하기에 너무 단순한가?
• RQ3 어떤 그래프 성질(예: 밀도, 크기, 구조)에서 GCN 인코더가 선형 인코더보다 측정 가능한 이점을 제공하는가?
• RQ4 메시지 전달이나 다중층 집계 없이도 최소한의 선형 모델이 링크 예측 및 노드 클러스터링에서 경쟁적인 성능을 낼 수 있는가?

주요 결과

• 선형 AE와 VAE 모델은 Cora, Citeseer, PubMed를 포함한 모든 테스트 데이터셋에서 링크 예측에 대해 경쟁적인 AUC 및 AP 점수를 달성하며, GCN 기반 모델과 비슷하거나 뛰어난 성능을 보였다.
• DBLP, Blogs, Proteins, Google 웹 그래프에서 선형 모델은 Arxiv-HepTh에서 AUC 점수 98.34%(선형 AE)와 98.35%(선형 VAE)를 기록했으며, GCN 기반 모델과 유사한 성능을 보였다.
• 노드 클러스터링에서 선형 AE와 VAE는 Cora-larger에서 최대 NMI 점수 0.946, DBLP에서 0.952를 기록했으며, GCN 기반 모델과 동일하거나 뛰어난 성능을 보였다.
• Proteins와 Google과 같은 밀도 높은 그래프에서는 선형 모델과 GCN 기반 모델 간의 성능 격차가 미미하여, GCN의 이점이 이러한 환경에서는 제한적임을 시사했다.
• 희박한 인용 네트워크(Cora, Citeseer, PubMed)에서는 선형 모델이 GCN 기반 모델과 동일하거나 더 나은 성능을 보였으며, 이는 이러한 경우 고차원 상호작용이 반드시 필요하지 않음을 시사했다.
• 저자들은 현재의 벤치마크 데이터셋이 GCN 인코더의 복잡성을 정당화하기에 너무 단순할 수 있음을 결론 내렸다.