[논문 리뷰] Revisiting Graph Neural Networks for Link Prediction

Muhan Zhang, Li Pan외 3명|arXiv (Cornell University)|2021. 05. 04.

Advanced Graph Neural Networks참고 문헌 26인용 수 46

한 줄 요약

이 논문은 링크 예측을 위한 그래프 신경망을 재검토하며, SEAL 프레임워크를 통해 적절하게 레이블이 부여된 부분 그래프에서 학습할 경우, 단순히 노드 임베딩을 집계하는 것(예: GAE 방식)보다 훨씬 더 표현력 있고 일반화 능력이 뛰어난 링크 표현을 얻을 수 있음을 보여준다. 대규모 OGB 데이터셋에서 SEAL은 GAE 방법 대비 최대 195%의 성능 향상을 기록하며, 4개 벤치마크 중 3개에서 새로운 최고 성능 기록을 수립한다.

ABSTRACT

Graph neural networks (GNNs) have achieved great success in recent years. Three most common applications include node classification, link prediction, and graph classification. While there is rich literature on node classification and graph classification, GNNs for link prediction is relatively less studied and less understood. Two representative classes of methods exist: GAE and SEAL. GAE (Graph Autoencoder) first uses a GNN to learn node embeddings for all nodes, and then aggregates the embeddings of the source and target nodes as their link representation. SEAL extracts a subgraph around the source and target nodes, labels the nodes in the subgraph, and then uses a GNN to learn a link representation from the labeled subgraph. In this paper, we thoroughly discuss the differences between these two classes of methods, and conclude that simply aggregating extit{node} embeddings does not lead to effective extit{link} representations, while learning from extit{properly labeled subgraphs} around links provides highly expressive and generalizable link representations. Experiments on the recent large-scale OGB link prediction datasets show that SEAL has up to 195\% performance gains over GAE methods, achieving new state-of-the-art results on 3 out of 4 datasets.

연구 동기 및 목표

• 링크 예측을 위한 GNN이 노드 및 그래프 분류 작업에 비해 왜 여전히 덜 연구되고 있는지 탐구하는 것.
• GAE와 SEAL, 두 주요 GNN 기반 링크 예측 방법 간의 근본적인 차이를 분석하는 것.
• 노드 임베딩 집계만으로도 효과적인 링크 표현을 생성할 수 있는지, 아니면 부분 그래프 수준의 학습이 더 강력한지 평가하는 것.
• GAE와 SEAL 간의 명확한 경험적 및 개념적 비교를 수립하여, 부분 그래프 구조와 레이블링의 중요성을 강조하는 것.

제안 방법

• SEAL은 각 대상 링크를 중심으로, 소스 및 타겟 노드 주변의 k-호프 이웃을 추출하여 부분 그래프를 구성한다.
• 구성된 각 부분 그래프는 소스 및 타겟 노드에 고유한 레이블을 부여하여 구조적 정보를 유지하고 GNN 학습을 가능하게 한다.
• GNN이 레이블이 부여된 부분 그래프를 처리하여 국소적 위상 구조와 노드 정체성을 모두 반영한 링크 표현을 생성한다.
• 학습된 링크 표현은 링크 존재 여부를 예측하기 위한 이진 분류 작업에 사용된다.
• 이 방법은 부분 그래프의 구조적 특성에서 유도된 인덕티브 바이어스를 활용하여, 노드 수준의 임베딩을 넘어서 일반화 능력을 향상시킨다.
• GAE와 달리, SEAL은 직접 노드 임베딩을 집계하는 것이 아니라, 구조적이고 레이블이 부여된 부분 그래프에서 학습함으로써 더 표현력 있는 링크 표현을 생성한다.

실험 결과

연구 질문

• RQ1 노드 및 그래프 분류 작업에서의 성공에도 불구하고, 링크 예측을 위한 GNN이 왜 여전에 미흡하게 연구되고 있는가?
• RQ2 GAE와 SEAL의 표현 능력은 링크 수준의 정보를 포착하는 데서 어떻게 다를까?
• RQ3 노드 임베딩 집계만으로도 효과적인 링크 표현을 생성할 수 있는가, 아니면 부분 그래프 수준의 학습이 더 강력한가?
• RQ4 대규모 데이터셋에서 부분 그래프 레이블링과 구조적 인덕티브 바이어스는 링크 예측 성능 향상에 어느 정도 기여하는가?

주요 결과

• SEAL은 OGB 링크 예측 벤치마크 데이터셋에서 GAE 방법 대비 최대 195%의 성능 향상을 기록한다.
• SEAL은 OGB 링크 예측 데이터셋 중 4개 중 3개에서 새로운 최고 성능 기록을 수립하며, 뛰어난 일반화 능력을 입증한다.
• GAE 방식처럼 단순히 노드 임베딩을 집계하는 것은, 적절하게 레이블이 부여된 부분 그래프에서 학습하는 것에 비해 표현력 있는 링크 표현을 생성하지 못한다.
• 노드 레이블링이 적용된 k-호프 부분 그래프를 사용함으로써, GNN은 링크 예측에 필수적인 더 풍부한 구조적 패턴을 포착할 수 있다.
• SEAL의 부분 그래프 기반 접근 방식은 국소적 위상 구조에서 유도된 인덕티브 바이어스 덕분에, 미리 보지 않은 링크로의 일반화 능력이 뛰어나다.
• 결과적으로, 링크 예측에서 부분 그래프 수준의 학습이 노드 임베딩 집계보다 본질적으로 더 효과적임을 확인한다.