[논문 리뷰] Revisiting Link Prediction: A Data Perspective

Haitao Mao, Juanhui Li외 7명|arXiv (Cornell University)|2023. 10. 01.

Computational Drug Discovery Methods인용 수 4

한 줄 요약

이 논문은 데이터 중심적 관점에서 링크 예측을 재평가하며, 지역적 구조적, 전반적 구조적, 특징 유사도라는 세 가지 핵심 요소의 상호작용이 모델 성능을 결정함을 규명한다. 연구는 특징 유사도에 의해 링크가 형성될 경우, 그래프 신경망(GNN4LP)이 지역적 구조적 유사도와 본질적인 불일치를 겪어 성능이 떨어지며, 이는 향후 모델 선택 및 개발을 위한 새로운 설계 원칙과 벤치마크 가이드라인을 제시한다.

ABSTRACT

Link prediction, a fundamental task on graphs, has proven indispensable in various applications, e.g., friend recommendation, protein analysis, and drug interaction prediction. However, since datasets span a multitude of domains, they could have distinct underlying mechanisms of link formation. Evidence in existing literature underscores the absence of a universally best algorithm suitable for all datasets. In this paper, we endeavor to explore principles of link prediction across diverse datasets from a data-centric perspective. We recognize three fundamental factors critical to link prediction: local structural proximity, global structural proximity, and feature proximity. We then unearth relationships among those factors where (i) global structural proximity only shows effectiveness when local structural proximity is deficient. (ii) The incompatibility can be found between feature and structural proximity. Such incompatibility leads to GNNs for Link Prediction (GNN4LP) consistently underperforming on edges where the feature proximity factor dominates. Inspired by these new insights from a data perspective, we offer practical instruction for GNN4LP model design and guidelines for selecting appropriate benchmark datasets for more comprehensive evaluations.

연구 동기 및 목표

• 다양한 데이터셋에서 단일 GNN4LP 모델이 항상 다른 모델을 압도하지 못하는 이유를 탐구하기 위해.
• 모델 아키텍처를 초월해 링크 예측 성능에 영향을 미치는 근본적인 데이터 요소를 규명하기 위해.
• 지역적, 전반적, 특징 유사도 요소 간의 관계 및 잠재적인 불일치를 분석하기 위해.
• 데이터 특성에 기반한 실질적인 가이드라인을 제공하여 GNN4LP 모델 설계 및 벤치마크 데이터셋 선택을 최적화하기 위해.
• 더 깊은 GNN 또는 복잡한 아키텍처가 링크 예측 성능을 항상 향상시킨다는 가정을 도전하며, 데이터 기반 설계 원칙의 중요성을 강조하기 위해.

제안 방법

• 지역적 구조적 유사도(예: 공통 이웃 수), 전반적 구조적 유사도(예: 랜덤 워크 기반 측정치), 특징 유사도(예: 노드 특징 유사도)라는 세 가지 핵심 데이터 요소를 식별한다.
• 잠재 공간 모델을 활용해 식별된 데이터 요소가 링크 예측에서 효과적인 이유를 이론적으로 정당화한다.
• 잠재 공간 모델을 사용해 세 요소 간의 관계를 분석하며, 특징 유사도와 지역적 구조적 유사도 사이에 본질적인 불일치가 존재함을 규명한다.
• 조기 정지와 고정된 하이퍼파라미터 범위를 적용한 표준화된 학습 및 평가 프로토콜을 사용해 다양한 데이터셋(OGB 및 Planetoid)에서 실증적 평가를 수행한다.
• 히우리스틱 방법(CN, AA, RA), GNN(GCN, GraphSAGE), 전용 GNN4LP 모델(SEAL, BUDDY, NCNC, NeoGNN)을 동일한 조건에서 광범위하게 비교한다.
• 특히 계산 비용이 큰 모델인 SEAL 및 BUDDY의 경우, 공개된 최적 설정을 기반으로 하이퍼파라미터를 조정하여 공정성을 확보한다.

(a) pubmed

실험 결과

연구 질문

• RQ1 지역적, 전반적, 특징 유사도 요소가 다양한 데이터셋에서 링크 예측 성능에 어떻게 종합적으로 영향을 미치는가?
• RQ2 전반적 구조적 유사도와 지역적 구조적 유사도 간의 관계는 모델의 효과성을 결정하는 데 어떤 영향을 미치는가?
• RQ3 왜 GNN4LP 모델은 특징 유사도에 의해 지배되는 간선에서 일관되게 성능이 열 劣하는가?
• RQ4 특징 유사도와 지역적 구조적 유사도 간의 불일치가 다양한 데이터셋 간 성능 격차의 근본 원인인가?
• RQ5 데이터 중심의 통찰은 더 견고한 GNN4LP 모델 설계와 종합적인 벤치마크 데이터셋 선택을 어떻게 안내할 수 있는가?

주요 결과

• 전반적 구조적 유사도는 지역적 구조적 유사도가 부족할 때에만 성능 향상에 기여하며, 이는 두 요소 간의 조건부 의존성을 시사한다.
• 특징 유사도와 지역적 구조적 유사도 사이에 본질적인 불일치가 존재한다: 특징과 지역적 구조 양쪽에서 유사도가 높은 간선은 흔치 않으며, 이는 GNN4LP 모델이 특징 기반 링크에서 성능이 열 劣하는 이유가 된다.
• ogbl-ppa 데이터셋에서 NCNC는 62.64 ± 0.79 Hits@100을 기록하며, GCN(29.57 ± 2.90)과 GraphSAGE(41.02 ± 1.94)를 크게 앞서며, 특징이 풍부하고 공통 이웃 수가 많은 간선에서 뛰어난 성능을 보였다.
• 노드 특징이 없는 ogbl-ddi에서 NCNC는 70.23 ± 12.11 Hits@100을 기록하며, GCN(49.90 ± 7.23)과 GraphSAGE(49.84 ± 15.56)를 앞서며, 특징이 없는 환경에서 구조 패턴의 중요성을 입증했다.
• ogbl-ppa에서 MLP 베이스라인은 0.45 ± 0.04 Hits@100을 기록하며, 특징만으로는 예측 능력이 거의 없음을 시사하지만, NCNC는 이 환경에서 구조 패턴을 효과적으로 활용했다.
• 모델 간 성능 격차는 데이터셋에 따라 다르며, GCN은 Cora와 Citeseer에서 뛰어난 성능을 보였고, NCNC는 ogbl-ppa와 ogbl-ddi에서 뛰어난 성능을 보였다. 이는 데이터 인식 기반의 모델 선택이 필수적임을 강조한다.

(b) ogbl-collab