[논문 리뷰] Neo-GNNs: Neighborhood Overlap-aware Graph Neural Networks for Link Prediction

Seongjun Yun, Seoyoon Kim외 3명|arXiv (Cornell University)|2022. 06. 09.

Advanced Graph Neural Networks인용 수 47

한 줄 요약

Neo-GNNs는 인접 행렬에서 구조적 특징을 학습하여 연결 예측을 위한 겹치는 이웃을 추정하고 특징 기반 GNN과 적응적으로 결합하여 OGB 데이터셋에서 최첨단 결과를 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have been widely applied to various fields for learning over graph-structured data. They have shown significant improvements over traditional heuristic methods in various tasks such as node classification and graph classification. However, since GNNs heavily rely on smoothed node features rather than graph structure, they often show poor performance than simple heuristic methods in link prediction where the structural information, e.g., overlapped neighborhoods, degrees, and shortest paths, is crucial. To address this limitation, we propose Neighborhood Overlap-aware Graph Neural Networks (Neo-GNNs) that learn useful structural features from an adjacency matrix and estimate overlapped neighborhoods for link prediction. Our Neo-GNNs generalize neighborhood overlap-based heuristic methods and handle overlapped multi-hop neighborhoods. Our extensive experiments on Open Graph Benchmark datasets (OGB) demonstrate that Neo-GNNs consistently achieve state-of-the-art performance in link prediction. Our code is publicly available at https://github.com/seongjunyun/Neo_GNNs.

연구 동기 및 목표

• structure-aware link prediction의 필요성을 특징 기반 GNN들(feature-smoothed GNNs) 너머로 동기화한다.
• Neo-GNNs를 도입하여 인접 행렬에서 구조적 특징을 학습하고 겹치는 이웃을 모델링한다.
• 다중 홉 이웃에 대한 중복 인접성 어그리게이션 메커니즘을 개발한다.
• 구조적(Neo-GNN) 점수와 특징 기반 GNN 점수를 엔드-투-엔드 프레임워크에서 적응적으로 결합할 수 있게 한다.
• 네 가지 OGB 링크 예측 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 구조적 특징 생성기 F_theta는 인접 행렬을 사용하여 노드의 구조적 특징을 두 개의 MLP로 학습한다(Equation 6).
• 이웃 중첩 인접성 어그리게이션은 x_struct에서 대각 X_struct를 구성하고 Z = A X_struct를 계산하여 겹친 이웃 정보를 포착한다(Equations 7 및 8).
• 다중 홉 이웃으로 확장하여 Z = g_Phi(sum_{l=1}^L beta^{l-1} A^l X_struct) 로 표현한다(Equation 9).
• 구조 점수 기반 예측과 특징 기반 GNN 점수를 학습 가능한 α를 통해 결합한다: y_hat_{ij} = alpha * sigma(z_i^T z_j) + (1 - alpha) * sigma(s(h_i, h_j)) (Equation 11).
• Neo-GNN, 구조 점수, 특징 기반 GNN 점수에 대해 세 가지 BCE 손실로 엔드-투-엔드으로 학습한다(Equation 12).
• 희소 행렬 표현과 A^l 항의 사전 계산으로 확장 가능한 계산을 제공한다(복잡도 논의 3.3에서).

실험 결과

연구 질문

• RQ1 인접 행렬에서 구조적 특징을 학습하는 것이 노드 특징에 의존하는 전통적 GNN보다 연결 예측을 개선할 수 있는가?
• RQ2 다중 홉 중첩을 포함한 이웃 중청 인접성을 GNN에 연결 예측을 효과적으로 어떻게 반영할 수 있는가?
• RQ3 구조 점수와 특징 기반 GNN 점수를 적응적으로 결합하는 것이 다양한 데이터셋에서 우수한 성능을 내는가?
• RQ4 Neo-GNN가 Neighborhood overlap 휴리스틱(예: Common Neighbors, Adamic Adar, Resource Allocation) 일반화까지 얼마나 가능한가?

주요 결과

방법	OGB-Ppa	OGB-Collab	OGB-Ddi	OGB-Citation2
공통 이웃	27.65±0.00	50.06±0.00	17.73±0.00	76.20±0.00
Adamic Adar	32.45±0.00	53.00±0.00	18.61±0.00	76.12±0.00
자원 할당	49.33±0.00	52.89±0.00	6.23±0.00	76.20±0.00
행렬 인수분해	27.83±2.02	38.74±0.30	17.92±3.57	53.08±4.19
Node2Vec	17.24±0.76	41.36±0.69	21.95±1.58	53.47±0.12
MLP	0.47±0.05	19.98±0.96	N/A	28.99±0.16
GCN	16.98±1.33	47.01±0.79	44.60±8.87	84.79±0.24
GraphSAGE	13.93±2.38	48.60±0.46	48.01±9.02	82.64±0.01
JK-Net	11.40±2.04	48.84±0.83	57.98±6.88	OOM
GAT	OOM	44.89±1.23	29.51±6.40	OOM
SEAL	48.15±4.17	54.37±0.02	26.25±6.00	86.32±0.52
Neo-GNN	49.13±0.60	57.52±0.37	63.57±3.52	87.26±0.84

• Neo-GNN은 네 가지 OGB 데이터셋에서 링크 예측에 대해 일관되게 최첨단 성능을 달성한다.
• GCN 없이도 Neo-GNN이 대부분의 데이터셋에서 기저 GNN보다 뛰어난 구조 정보의 가치를 보여준다.
• 적응적 결합 α는 데이터셋별로 구조 및 특징 기반 신호의 균형을 가능하게 하여 두 구성요소 중 하나만의 성능보다 종종 향상된다.
• 다중 홉 중첩 이웃(L > 1)은 성능을 향상시키고, 감소 계수 β가 먼 홉의 기여를 제어한다.
• Neo-GNN은 Neighborhood overlap 휴리스틱과 재현 및 정렬될 수 있으며, OGB-PPA에서 Resource Allocation, Adamic Adar, Common Neighbors와 높은 Spearman 상관을 보인다.
• Neo-GNN은 입력 노드 특징이 없이도 최상의 결과를 달성하여 구조 인식 학습의 강점을 강조한다.