[논문 리뷰] OOD Link Prediction Generalization Capabilities of Message-Passing GNNs in Larger Test Graphs

Yangze Zhou, Gitta Kutyniok외 1명|arXiv (Cornell University)|2022. 05. 30.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 더 큰 테스트 그래프에서 분포 외(OOD) 링크 예측을 위한 메시지 전달 GNN의 이론적 분석을 처음으로 제시한다. 표준 GNN이 순열 동치(node embedding)를 갖는 경우, 테스트 그래프가 커질수록 랜덤 추측으로 수렴함을 증명하지만, 지속적인 구조 인지 표현을 학습함으로써 더 큰 그래프로 일반화되는 구조 인지 표현을 유지함으로써 OOD에서도 예측 능력을 유지하는 새로운 쌍방향 임베딩 아키텍처를 제안한다.

ABSTRACT

This work provides the first theoretical study on the ability of graph Message Passing Neural Networks (gMPNNs) -- such as Graph Neural Networks (GNNs) -- to perform inductive out-of-distribution (OOD) link prediction tasks, where deployment (test) graph sizes are larger than training graphs. We first prove non-asymptotic bounds showing that link predictors based on permutation-equivariant (structural) node embeddings obtained by gMPNNs can converge to a random guess as test graphs get larger. We then propose a theoretically-sound gMPNN that outputs structural pairwise (2-node) embeddings and prove non-asymptotic bounds showing that, as test graphs grow, these embeddings converge to embeddings of a continuous function that retains its ability to predict links OOD. Empirical results on random graphs show agreement with our theoretical results.

연구 동기 및 목표

• 테스트 그래프가 훈련 그래프보다 훨씬 클 때, 메시지 전달 GNN의 분포 외(OOD) 링크 예측 설정에서 일반화 능력을 이론적으로 분석하는 것.
• GNN 내 순열 동치 노드 임베딩이 더 크고 새로운 그래프에 배포될 때 예측 성능을 유지할 수 있는지 조사하는 것.
• 더 큰 테스트 그래프로 일반화가 더 잘 되는 구조적 쌍방향(2노드) 임베딩 기반의 새로운 GNN 아키텍처를 제안하고 이론적으로 정당화하는 것.
• OOD 설정 하에서 노드 기반 및 쌍방향 임베딩 기반 GNN의 일반화 오차에 대한 비점근적 경계를 설정하는 것.

제안 방법

• 표준 gMPNN의 노드 임베딩이 테스트 그래프 크기가 커질수록 구조적 대칭성으로 인해 랜덤 추측으로 수렴함을 보여주는 비점근적 경계를 증명한다.
• 개별 노드 임베딩 대신 노드 쌍을 위한 구조적 쌍방향 임베딩을 출력하는 새로운 gMPNN 아키텍처를 제안한다.
• 이론적 분석을 통해 이러한 쌍방향 임베딩이 OOD 일반화 하에서 링크 예측 능력을 유지하는 연속 함수로 수렴함을 보여준다.
• 메시지 전달 및 리더아웃 함수의 안정성 분석과 리프시츠 상수를 사용하여 쌍방향 임베딩 모델의 일반화 오차에 대한 비점근적 경계를 유도한다.
• 일반화 성능를 제약하기 위해 훈련 그래프의 성질(리프시츠 상수 및 최소 차수 포함)에 의존하는 오차의 분해를 수행한다.
• 랜덤 그래프에서 이론적 결과를 실험적으로 검증하여 이론과 관측 성능 간의 일치를 보여준다.

실험 결과

연구 질문

• RQ1 표준 메시지 전달 GNN이 순열 동치 노드 임베딩을 갖는 경우, 더 크고 분포 외 테스트 그래프로 일반화될 수 있는가?
• RQ2 왜 표준 GNN은 테스트 그래프가 훈련 그래프보다 훨씬 클 때 OOD 링크 예측에 실패하는가?
• RQ3 쌍방향 노드 임베딩을 갖는 수정된 GNN 아키텍처가 OOD 설정에서 예측 능력을 유지할 수 있는가?
• RQ4 OOD 링크 예측 작업에서 GNN의 일반화 오차에 대해 수립할 수 있는 이론적 경계는 무엇인가?
• RQ5 그래프 크기와 구조적 대칭성은 OOD 링크 예측에서 GNN의 성능에 어떻게 영향을 미치는가?

주요 결과

• 표준 gMPNN가 순열 동치 노드 임베딩을 갖는 경우, 테스트 그래프 크기가 커질수록 증가하는 구조적 대칭성으로 인해 랜덤 추측으로 수렴한다.
• 제안된 쌍방향 임베딩 gMPNN 아키텍처는 지속적인 구조 인지 표현을 학습함으로써 더 큰 그래프로 일반화되는 방식으로 OOD에서도 예측 능력을 유지한다.
• 비점근적 경계에 따르면, 쌍방향 임베딩 모델의 일반화 오차는 $\mathcal{O}(\sqrt{\log N^\text{te}} / \sqrt{N^\text{te}})$ 의 형태로 감소하며, 이는 안정적이고 예측 가능한 함수로 수렴함을 나타낸다.
• 이론적 경계는 메시지 전달 및 리더아웃 함수의 리프시츠 상수와 최소 차수 $d_{\text{cmin}}$ 등 훈련 그래프 성질에 의존한다.
• 랜덤 그래프에서의 실험 결과는 표준 GNN이 OOD에서 성능이 떨어지지만, 제안된 쌍방향 모델은 성능을 유지한다는 이론적 예측을 확인한다.
• 분석을 통해 작은 그래프에서의 구조 비대칭성 의존성이 큰 그래프에서는 이sov형 노드가 흔해지면서 실패함을 밝혀내어, 노드 임베딩 기반 방법의 성능 저하 원인을 규명한다.