[논문 리뷰] Linkless Link Prediction via Relational Distillation

Zhichun Guo, William Shiao외 5명|arXiv (Cornell University)|2022. 10. 11.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 링크 예측을 위한 그래프 구조 지식을 GNN에서 MLP로 이전하는 관계 기반 지식 정련 프레임워크인 Linkless Link Prediction (LLP)을 제안한다. 기준 노드와 컨텍스트 노드 간의 순위 정렬 및 분포 관계를 일치시킴으로써, LLP는 MLP 성능을 햖스하여 8개 벤치마크 중 7개에서 교사 GNN을 초월하고 OGB 데이터셋에서 추론 속도를 70.68배 빠르게 한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown exceptional performance in the task of link prediction. Despite their effectiveness, the high latency brought by non-trivial neighborhood data dependency limits GNNs in practical deployments. Conversely, the known efficient MLPs are much less effective than GNNs due to the lack of relational knowledge. In this work, to combine the advantages of GNNs and MLPs, we start with exploring direct knowledge distillation (KD) methods for link prediction, i.e., predicted logit-based matching and node representation-based matching. Upon observing direct KD analogs do not perform well for link prediction, we propose a relational KD framework, Linkless Link Prediction (LLP), to distill knowledge for link prediction with MLPs. Unlike simple KD methods that match independent link logits or node representations, LLP distills relational knowledge that is centered around each (anchor) node to the student MLP. Specifically, we propose rank-based matching and distribution-based matching strategies that complement each other. Extensive experiments demonstrate that LLP boosts the link prediction performance of MLPs with significant margins, and even outperforms the teacher GNNs on 7 out of 8 benchmarks. LLP also achieves a 70.68x speedup in link prediction inference compared to GNNs on the large-scale OGB dataset.

연구 동기 및 목표

• 링크 예측의 성능-지연 간 상충 관계를 해결하기 위해 GNN의 정확성과 MLP의 효율성을 조합한다.
• 직접 지식 정련(로짓 또는 표현 일치)이 링크 예측을 위한 GNN 지식을 MLP로 효과적으로 전달할 수 있는지 탐색한다.
• 개별 노드 쌍을 넘어서 토폴로지 인식 관계 지식을 포착하는 관계 기반 정련 프레임워크를 개발한다.
• 실제 응용 분야인 추천 시스템과 같은 링크 예측에서 고속, 저지연 추론을 가능하게 한다.

제안 방법

• 각 기준 노드 중심의 지식에 중점을 두며, 개별 링크나 노드 표현이 아닌 관계 기반 정련 프레임워크인 LLP를 제안한다.
• 상위 K개 추천의 정확성을 유지하기 위해 컨텍스트 노드의 링크 확률 순서를 보존하는 데 기반한 일치를 도입한다.
• 교사 및 학생 모델의 링크 예측 전반의 확률 분포를 일치시키기 위해 분포 기반 일치를 활용한다.
• 감독 학습, 순위 기반 일치, 분포 기반 일치를 결합한 이중 손실 학습 목표를 사용하여 종합적인 지식 전이를 달성한다.
• 계산 비용을 제한하면서도 관계 구조를 유지하기 위해 각 기준 노드에서 고정된 홉 거리 내의 컨텍스트 노드를 샘플링한다.
• 유사한 노드가 동일한 홉에 있을 경우를 처리하기 위해 학습 가능한 온도 스케일링과 마진 기반 손실을 순위 기반 일치에 적용한다.

실험 결과

연구 질문

• RQ1 직접 지식 정련 방법(로짓 또는 표현 일치)이 링크 예측을 위한 GNN 지식을 MLP로 효과적으로 전달할 수 있는가?
• RQ2 표준 정련 접근 방식이 링크 예측에서 실패하는 이유는 무엇이며, 무엇이 부족한 관계 인식 편향인가?
• RQ3 GNN 교사로부터 링크의 상대 순위와 확률 분포를 유지하면 MLP 성능이 향상될 수 있는가?
• RQ4 관계 기반 정련은 MLP가 링크 예측에서 GNN을 능가하면서도 저지연 추론을 유지할 수 있도록 할 수 있는가?

주요 결과

• LLP는 링크 예측 성능을 Hits@20로 측정했을 때 8개 벤치마크 중 7개에서 교사 GNN을 초월한다.
• OGB-Products 데이터셋에서, LLP는 GNN보다 추론 시간에 70.68배 빠른 성능을 달성하면서 최신 기술 수준의 성능을 유지한다.
• 제안된 순위 기반 일치 손실($\mathcal{L}_{\textsf{LLP}\_R}$)은 모든 데이터셋에서 표준 순위 손실인 ListNet보다 일관되게 뛰어나다.
• 분포 기반 일치가 순위 기반 일치를 보완하며, 제거 실험 결과 양 측면 모두가 최적 성능을 위해 필수적임을 입증한다.
• 더 큰 MLP(교사보다 2–4배 넓은)를 사용하더라도, LLP 추론은 GNN보다 상당히 빠르며, Collab와 Citation2에서 각각 18.9배와 147배의 속도 향상을 기록한다.