[논문 리뷰] Benchmarking Graph Neural Networks on Link Prediction

Xing Wang, Alexander Vinel|arXiv (Cornell University)|2021. 02. 24.

Advanced Graph Neural Networks참고 문헌 14인용 수 7

한 줄 요약

이 논문은 일관된 훈련/검증/테스트 분할과 50회의 반복 실험을 사용하여 네 가지 주요 GNN 아키텍처(GCN, GraphSAGE, GAT, VGAE)를 네 가지 데이터셋(Cora, CiteSeer, PubMed, Wiki-CS)에서 링크 예측에 대해 벤치마킹한다. 결과적으로 모든 모델이 약 90%의 AUC 스코어로 유사하게 성능을 보이며, 특히 GCN과 VGAE가 Wiki-CS에서 높은 성능(95% 이상의 AUC)을 기록한다. 반면 GraphSAGE는 일부 데이터셋에서 높은 변동성과 낮은 내구성을 보이며, 더 높은 변동성을 보인다.

ABSTRACT

In this paper, we benchmark several existing graph neural network (GNN) models on different datasets for link predictions. In particular, the graph convolutional network (GCN), GraphSAGE, graph attention network (GAT) as well as variational graph auto-encoder (VGAE) are implemented dedicated to link prediction tasks, in-depth analysis are performed, and results from several different papers are replicated, also a more fair and systematic comparison are provided. Our experiments show these GNN architectures perform similarly on various benchmarks for link prediction tasks.

연구 동기 및 목표

• 이전 벤치마크에서의 일관성 문제를 해결하고, 링크 예측에서 GNN 모델을 공정하고 체계적으로 비교하기 위한 것이다.
• 학술 논문 네트워크와 더 큰, 더 연결성이 높은 도메인(Wiki-CS) 모두에서 최신 GNN 아키텍처(GCN, GraphSAGE, GAT, VGAE)를 평가하기 위한 것이다.
• [10] 및 [14]의 이전 결과를 재현하고 확장하여 훈련 분할과 평가 프로토콜의 재현 가능성과 일관성을 확보하기 위한 것이다.
• 학습된 노드 임베딩의 t-SNE 시각화를 통해 모델의 내구성과 표현 품질을 분석하기 위한 것이다.
• 모델과 데이터셋 간의 성능 차이와 잠재적 과적합 패턴을 규명하기 위한 것이다.

제안 방법

• 모든 모델과 데이터셋에 대해 일관된 85%-5%-10% 훈련/검증/테스트 분할을 사용하여 공정한 비교를 보장한다.
• 링크 예측은 그래프의 양성 엣지와 비연결 엣지에서 샘플링한 음성 엣지를 사용하여 이진 분류 문제로 설정한다.
• Adam 옵timizer를 사용하여 200 에포크 동안 훈련하며, 초기 학습률은 0.01을 사용한다(단, GAT의 경우 Wiki-CS에서는 0.001로 설정한다).
• 각 실험은 50번 반복하여 부트스트래핑을 통해 평균 성능와 95% 신뢰구간을 계산한다.
• GCN, GraphSAGE, GAT, VGAE의 노드 임베딩을 추출하여 t-SNE 시각화를 통해 표현 품질을 평가한다.
• 평가 지표로는 AUC와 평균 정밀도를 사용하며, 50회의 반복 평균과 표준편차로 보고한다.

실험 결과

연구 질문

• RQ1 GCN, GraphSAGE, GAT, VGAE는 동일한 데이터 분할로 훈련하고 평가할 경우 링크 예측에서 어떻게 성능을 내는가?
• RQ2 학술 논문 네트워크와 비교해가며 연결성이 높은 위키백과 기반 네트워크에서 다양한 그래프 구조에 따라 GNN 모델의 성능에 유의미한 차이가 나타나는가?
• RQ3 특히 희박한 그래프와 조밀한 그래프에서 성능의 변동성으로 측정된 모델의 내구성은 각 모델 간에 어떻게 다를까?
• RQ4 학습된 임베딩의 t-SNE 시각화는 의미 있는 클래스 간 분리와 잠재적 과적합 패턴을 드러내는가?
• RQ5 이번 결과는 [10] 및 [14]의 이전 연구 결과를 어느 정도 재현하거나 확장하는가?

주요 결과

• GCN은 Cora(AUC 0.924), PubMed(AUC 0.931), Wiki-CS(AUC 0.957)에서 가장 높은 AUC를 기록하여 이 데이터셋들에서 강력한 일반화 능력을 보였다.
• VGAE는 CiteSeer에서 가장 높은 성능을 기록하여 AUC 0.926으로 다른 모델보다 뛰어난 성능을 보였다.
• GraphSAGE는 성능에 가장 높은 변동성을 보이며, 특히 CiteSeer와 Wiki-CS에서 낮은 내구성과 잠재적 과적합을 보였다.
• Cora, CiteSeer, PubMed에서는 모든 모델이 약 90%의 AUC 스코어를 기록하여 이 벤치마크에서 유사한 전반적인 성능를 보였다.
• Wiki-CS에서는 GCN과 VGAE가 95% 이상의 AUC를 기록하여 매우 연결성이 높고 대규모인 그래프에서 뛰어난 성능을 보였다.
• t-SNE 시각화 결과, 링크 예측 성능이 뛰어난 모델들(GCN은 Cora에서, VGAE는 Wiki-CS에서)이 잠재 공간에서 더 명확한 클래스 간 분리를 보였다.