Skip to main content
QUICK REVIEW

[논문 리뷰] Neural Common Neighbor with Completion for Link Prediction

Xiyuan Wang, Haotong Yang|arXiv (Cornell University)|2023. 02. 02.
Complex Network Analysis TechniquesPhysics and Astronomy인용 수 11
한 줄 요약

NCN은 MPNN을 통해 학습 가능한 쌍별 특징을 사용하여 링크 예측에서 공통 이웃을 포착하고, NCNC는 그래프 불완전성 완화를 위해 완성 및 대상 링크 제거를 추가하여 최첨단 성능을 달성합니다.

ABSTRACT

In this work, we propose a novel link prediction model and further boost it by studying graph incompleteness. First, we introduce MPNN-then-SF, an innovative architecture leveraging structural feature (SF) to guide MPNN's representation pooling, with its implementation, namely Neural Common Neighbor (NCN). NCN exhibits superior expressiveness and scalability compared with existing models, which can be classified into two categories: SF-then-MPNN, augmenting MPNN's input with SF, and SF-and-MPNN, decoupling SF and MPNN. Second, we investigate the impact of graph incompleteness -- the phenomenon that some links are unobserved in the input graph -- on SF, like the common neighbor. Through dataset visualization, we observe that incompleteness reduces common neighbors and induces distribution shifts, significantly affecting model performance. To address this issue, we propose to use a link prediction model to complete the common neighbor structure. Combining this method with NCN, we propose Neural Common Neighbor with Completion (NCNC). NCN and NCNC outperform recent strong baselines by large margins, and NCNC further surpasses state-of-the-art models in standard link prediction benchmarks. Our code is available at https://github.com/GraphPKU/NeuralCommonNeighbor.

연구 동기 및 목표

  • vanilla MPNN 기반 방법에서 누락된 쌍별 관계를 포착해 링크 예측을 개선하려는 동기 부여.
  • 학습 가능한 쌍별 특징을 MPNN으로 파생하는 Neural Common Neighbor(NCN) 도입.
  • Common Neighbor Completion(CNC)과 Target Link Removal(TLR) 두 가지 개입으로 그래프 불완전성 addressed.
  • NCN과 CNC를 결합하고(선택적 반복적 그래프 완성 NCNC-K 포함) Neural Common Neighbor with Completion(NCNC) 제안.
  • GAE와 비슷한 확장성으로 다양한 벤치마크에서 최첨단 성능을 증명.

제안 방법

  • 쌍별 특징에 대한 일반 프레임워크를 정의하여 휴리스틱 및 기존의 GNN 기반 접근을 포괄한다.
  • NCN 구성에서 고정 차수 기반의 쌍별 함수들을 학습 가능한 MPNN 기반 추출기로 대체: NCN(i,j,A,X)=sum over u in N(i)∩N(j) of MPNN(u,A,X).
  • 명시적 고차 이웃이 MPNN에 의해 암묵적으로 학습된 정보로 인해 NCN에 큰 기여를 하지 않는다고 주장.
  • CN 기반 신호에 대한 그래프 불완전성과 그 영향 연구, 두 가지 개입 도입: Common Neighbor Completion(CNC) 및 Target Link Removal(TLR).
  • NCNC는 NCN에 CNC를 결합하여 잠재적 공통 이웃에 대해 NCN이 예측한 확률로 가중치를 두고, 선택적으로 반복적 그래프 완성(NCNC-K)을 도입.
  • 일차 이웃을 유지하고 교차를 집합 연산자로 사용하여 확장 가능한 추론을 제공; NCN/NCNC의 런타임은 GAE와 비슷하면서 기준선을 능가.
(a)
(a)

실험 결과

연구 질문

  • RQ1대상 노드 간의 쌍별 관계를 hand-crafted가 아닌 학습 가능한 방식으로 학습하여 링크 예측을 개선할 수 있는가?
  • RQ2고정 쌍별 특징을 학습 가능한 표현으로 대체하는 것이 성능과 확장성에 도움이 되는가?
  • RQ3그래프 불완전성은 링크 예측에 어떤 영향을 미치며 개입으로 이를 완화할 수 있는가?
  • RQ4실세계 벤치마크에서 공통 이웃 완성(CNC)과 대상 링크 제거(TLR)가 NCN 기반 모델의 성능을 개선하는가?
  • RQ5표준 링크 예측 데이터셋에서 NCN/NCNC의 실험적 성능은 어떠하며 확장성은 기준선과 어떻게 비교되는가?

주요 결과

  • NCN은 여러 벤치마크에서 기존 모델을 능가하며 경쟁적 기준선 대비 강력한 이점을 보임.
  • NCNC는 성능을 더욱 향상시켜 모든 보고된 데이터셋에서 최첨단 결과를 달성하였으며, 특히 ogbl-ppa에서 주목할 만한 향상을 보임.
  • 결과 절단 연구에서 학습 가능한 쌍별 특징(NCN)이 수작업 특징(GAE+CN, Neo-GNN, BUDDY)을 여러 데이터셋에서 능가함.
  • 불완전성은 분포 편향과 공통 이웃 정보의 손실을 야기하나 CNC와 TLR이 이러한 효과를 완화하고 추가 이점을 얻음.
  • NCN/NCNC는 GAE와 유사한 시간 복잡도로 확장성을 유지하며 대규모 배치에서 SEAL보다 현저히 빠르고, NCNC-1은 대부분의 데이터셋에서 충분함.
(b)
(b)

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.