[논문 리뷰] Pure Message Passing Can Estimate Common Neighbor for Link Prediction

Kaiwen Dong, Zhichun Guo외 1명|arXiv (Cornell University)|2023. 09. 02.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 순수 메시지 전파를 통해 고차원 공간에서의 준직교성 노드 벡터를 활용함으로써 그래프 신경망에서 공통 이웃(Common Neighbor, CN) 특징을 효과적으로 추정할 수 있음을 보여준다. 제안된 메시지 전파 링크 예측기(MPLP)는 전파된 준직교 벡터의 내적을 통해 연관된 구조적 특징을 근사함으로써 벤치마크 데이터셋에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Message Passing Neural Networks (MPNNs) have emerged as the {\em de facto} standard in graph representation learning. However, when it comes to link prediction, they often struggle, surpassed by simple heuristics such as Common Neighbor (CN). This discrepancy stems from a fundamental limitation: while MPNNs excel in node-level representation, they stumble with encoding the joint structural features essential to link prediction, like CN. To bridge this gap, we posit that, by harnessing the orthogonality of input vectors, pure message-passing can indeed capture joint structural features. Specifically, we study the proficiency of MPNNs in approximating CN heuristics. Based on our findings, we introduce the Message Passing Link Predictor (MPLP), a novel link prediction model. MPLP taps into quasi-orthogonal vectors to estimate link-level structural features, all while preserving the node-level complexities. Moreover, our approach demonstrates that leveraging message-passing to capture structural features could offset MPNNs' expressiveness limitations at the expense of estimation variance. We conduct experiments on benchmark datasets from various domains, where our method consistently outperforms the baseline methods.

연구 동기 및 목표

• 순수한 메시지 전파 GNN이 순열 불변성 때문에 공통 이웃(CN)과 같은 히우리스틱 링크 예측 특징을 명시적으로 설계하지 않더라도 근사할 수 있는지 조사한다.
• MPNN의 공통 구조적 특징(예: CN)을 포괄하지 못하는 한계를 해결한다. 이는 링크 예측에 있어 핵심적인 역할을 한다.
• 명시적인 히우리스틱에 의존하지 않고 메시지 전파를 활용해 CN 유사 특징을 추정하는 새로운 링크 예측 모델을 개발한다.
• 메시지 전파가 벡터의 수직성과 내적을 통해 링크 수준의 구조적 정보를 인코딩하는 새로운 패러다임을 수립한다.
• 제안된 방법이 기존의 GNN 기반 및 히우리스틱 링크 예측 모델을 능가함을 경험적으로 검증한다.

제안 방법

• 고차원 공간에서 거의 직교 벡터 집합의 지수적 증가를 활용하여 노드에 준직교(QO) 벡터를 초기 표현으로 할당한다.
• 표준 메시지 전파를 사용하여 이러한 QO 벡터를 전파하며, 각 노드는 이웃 노드의 벡터를 합산하여 집계한다.
• 메시지 전파 후 최종 은닉 표현 간의 내적을 통해 두 노드 간의 공통 이웃 수를 추정한다.
• 이론적으로 노드 표현 간 내적의 기대값이 공통 이웃 수를 근사함을 정당화하며, 분산은 그래프 구조에 의해 제한됨을 보여준다.
• 학습 중에 정확한 구조적 특징 추정을 보장하기 위해 양성 링크의 단순 경로를 제거하는 학습 전략을 도입한다.
• 분포 이탈을 방지하고 일반화 성능을 향상시키기 위해 수정된 학습 절차를 적용하며, 계산 비용을 낮추는 데에 성능을 약간 희생하는 변형(MPLP+)을 제안한다.

(a)

실험 결과

연구 질문

• RQ1 순수한 메시지 전파 GNN이 명시적인 설계 없이도 공통 이웃 히우리스틱과 같은 기본 링크 예측 특징을 근사할 수 있는가?
• RQ2 노드 표현의 수직성이 메시지 전파 네트워크가 CN과 같은 연관된 구조적 특징을 포괄하는 데 얼마나 기여하는가?
• RQ3 내적 추정의 분산은 밀도가 높거나 허브가 많은 그래프와 같이 특정한 그래프 구조에 따라 어떻게 달라지는가?
• RQ4 메시지 전파 모델이 유일하게 벡터 연산을 통해 CN을 추정함으로써 최신 기술 수준의 링크 예측 성능를 달성할 수 있는가?
• RQ5 이러한 메시지 전파 프레임워크에서 학습 비용과 추론 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 메시지 전파 후 노드 표현 간 내적의 기대값은 진짜 공통 이웃 수를 근사하며, 분산에 대한 이론적 한계가 존재한다.
• 다양한 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성하며, GNN 기반 기준 및 CN과 같은 히우리스틱 방법을 일관되게 능가한다.
• 밀도가 높거나 고도의 허브를 가진 그래프에서는 추정의 분산이 증가하여 구조적 민감도를 보인다.
• 이론적 및 경험적 성공에도 불구하고, MPLP의 학습 비용은 추론 비용보다 크게 높다. 이는 학습 중 동적 그래프 구조 변화 때문이기 때문이다.
• MPLP+는 양성 링크를 마스킹함으로써 학습 비용을 줄이지만 성능가 낮은 편이므로 효율성과 정확도 사이의 상충 관계를 시사한다.
• 본 연구는 순수한 메시지 전파가 링크 수준의 구조적 특징을 인코딩할 수 있음을 입증하며, MPNN가 이러한 능력을 본질적으로 갖추지 못한다는 가정을 도전한다.

(b)