[논문 리뷰] Graph Convolutional Gaussian Processes For Link Prediction

Felix L. Opolka, Píetro Lió|arXiv (Cornell University)|2020. 02. 11.

Advanced Graph Neural Networks참고 문헌 31인용 수 8

한 줄 요약

이 논문은 링크 예측을 위한 그래프 컨볼루션 가우시안 프로세스(GCLGP)를 제안하며, 단순화된 그래프 컨볼루션을 통해 노드 특징과 국소적 그래프 구조를 통합하여 인덕티브 바이어스를 향상시킵니다. 이 방법은 그래프 구조를 가진 도메인에 대해 변분 유도점 접근법을 사용하며, 여덟 개인 벤치마크 그래프에서 최신 기술 수준의 성능을 달성했고, 가우시안 프로세스 기반 기준 모델과 VGAE와 같은 GNN 기반 모델보다 일관된 성능 향상을 보였습니다.

ABSTRACT

Link prediction aims to reveal missing edges in a graph. We address this task with a Gaussian process that is transformed using simplified graph convolutions to better leverage the inductive bias of the domain. To scale the Gaussian process model to large graphs, we introduce a variational inducing point method that places pseudo inputs on a graph-structured domain. We evaluate our model on eight large graphs with up to thousands of nodes and report consistent improvements over existing Gaussian process models as well as competitive performance when compared to state-of-the-art graph neural network approaches.

연구 동기 및 목표

• 대규모 그래프에서의 링크 예측 문제에 대해 가우시안 프로세스와 그래프 컨볼루션 인덕티브 바이어스를 융합하여 해결합니다.
• 표준 가우시안 프로세스가 대규모 그래프에서 계산적으로 불가능한 문제를 해결하기 위해 확장 가능한 변분 유도점 방법을 통해 스케일업합니다.
• 베이지안 추론을 활용하여 체계적인 불확실성 추정과 강건한 일반화를 보장함으로써 딥러닝 모델에서 흔히 발생하는 과적합을 방지합니다.
• 노드 특징과 국소적 이웃 정보를 확률적 프레임워크 내에서 함께 활용할 수 있도록 합니다.
• 유도점이 그래프 구조를 가진 유도 그래프에 배치되는 새로운 변분 유도점 방법을 개발하여 확장성과 성능을 향상시킵니다.

제안 방법

• 핵심 함수에 단순화된 그래프 컨볼루션을 적용하여 유클리드 공간에 정의된 표준 가우시안 프로세스를 그래프 컨볼루션 가우시안 프로세스로 변환합니다.
• 그래프 컨볼루션 연산에서 학습 가능한 이웃 크기를 도입하여 모델이 입력 그래프 구조에 자동으로 적응할 수 있도록 합니다.
• 노드 수준의 GP와 링크 예측 커널을 조합하여 노드 쌍에 대한 가우시안 프로세스를 구성함으로써 엔드 투 엔드 링크 예측을 가능하게 합니다.
• 유도점이 연결된 무작위로 생성된 유도 그래프의 노드에 배치되어 확장성을 확보할 수 있도록 변분 근사를 적용합니다.
• 변분 하한(ELBO)을 최적화하여 하이퍼파rameter와 변분 파라미터를 최적화함으로써 검증 세트가 없이도 훈련이 가능하고 불확실성 정량화를 지원합니다.
• 이웃 노드의 특징을 집계하는 미분 가능한 그래프 컨볼루션 메커니즘을 사용하여 국소적 구조 패턴을 더 잘 포착할 수 있도록 모델 성능을 향상시킵니다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션 인덕티브 바이어스는 가우시안 프로세스의 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 가우시안 프로세스를 대규모 그래프에 적용하면서도 불확실성 추정과 베이지안 일반화를 유지할 수 있는가?
• RQ3 그래프 구조를 가진 변분 유도점 방법이 링크 예측에서 기존 유클리드 기반 유도점 배치 방식보다 우수한 성능을 낼 수 있는가?
• RQ4 그래프 컨볼루션 가우시안 프로세스 모델은 VGAE와 같은 최신 기술 수준의 GNN 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 그래프 컨볼루션을 통해 국소적 이웃 정보를 통합할 경우, 다양한 실제 그래프에서 링크 예측 정확도가 얼마나 향상되는가?

주요 결과

• 제안된 GCLGP 모델은 AUC 기준으로 여덟 개 데이터셋 중 여섯 개에서 비컨볼루션 가우시안 프로세스(LGP)를 능가했으며, Router 데이터셋에서 최대 10.0 포인트의 향상을 기록했습니다.
• Router 데이터셋에서 GCLGP는 AUC 79.79 ± 3.62를 기록하여 VGAE(61.51 ± 1.22)와 LGP(69.61 ± 1.33)를 뚜렷이 앞섰습니다.
• 평균 정밀도(AP) 기준으로 GCLGP는 여덟 개 데이터셋 중 네 개에서 VGAE를 능가했고, 나머지 네 개에서는 동일하거나 이를 초월하여 강력한 안정성을 입증했습니다.
• E.coli 데이터셋에서 GCLGP는 AP 95.02 ± 1.08을 기록하여 VGAE(92.77 ± 0.65)와 LGP(93.99 ± 0.47)를 모두 앞섰습니다.
• 대부분의 데이터셋에서 비컨볼루션 LGP 기반 모델 대비 일관된 성능 향상을 기록하여 국소적 이웃 정보 통합의 유용성을 확인했습니다.
• 그래프 구조를 가진 도메인에 적용된 변분 유도점 방법 덕분에 수천 개 노드까지의 그래프에 효과적으로 스케일업할 수 있었고, 철저한 하이퍼파rameter 튜닝 없이도 높은 성능를 유지했습니다.