[논문 리뷰] Neural Bellman-Ford Networks: A General Graph Neural Network Framework for Link Prediction

Zhaocheng Zhu, Zuobai Zhang외 2명|arXiv (Cornell University)|2021. 06. 13.

Advanced Graph Neural Networks참고 문헌 75인용 수 112

한 줄 요약

NBFNet은 링크 예측을 위한 일반화된 Bellman-Ford 경로 형식을 학습하는 신경 프레임워크로, 학습 가능한 Indicator, Message, Aggregate 구성요소를 사용하여 지식 그래프와 동질 그래프 모두에서 귀납적이고 해석 가능하며 확장 가능한 예측을 가능하게 한다.

ABSTRACT

Link prediction is a very fundamental task on graphs. Inspired by traditional path-based methods, in this paper we propose a general and flexible representation learning framework based on paths for link prediction. Specifically, we define the representation of a pair of nodes as the generalized sum of all path representations, with each path representation as the generalized product of the edge representations in the path. Motivated by the Bellman-Ford algorithm for solving the shortest path problem, we show that the proposed path formulation can be efficiently solved by the generalized Bellman-Ford algorithm. To further improve the capacity of the path formulation, we propose the Neural Bellman-Ford Network (NBFNet), a general graph neural network framework that solves the path formulation with learned operators in the generalized Bellman-Ford algorithm. The NBFNet parameterizes the generalized Bellman-Ford algorithm with 3 neural components, namely INDICATOR, MESSAGE and AGGREGATE functions, which corresponds to the boundary condition, multiplication operator, and summation operator respectively. The NBFNet is very general, covers many traditional path-based methods, and can be applied to both homogeneous graphs and multi-relational graphs (e.g., knowledge graphs) in both transductive and inductive settings. Experiments on both homogeneous graphs and knowledge graphs show that the proposed NBFNet outperforms existing methods by a large margin in both transductive and inductive settings, achieving new state-of-the-art results.

연구 동기 및 목표

• 전통적인 경로 지표의 해석 가능성과 신경망 용량을 결합한 링크 예측을 위한 일반적 경로 기반 표현 학습 프레임워크를 제안한다.
• 쌍 표현이 모든 경로의 합으로 구성되고 각 경로는 경로를 따라의 간선 표현의 일반화된 곱으로 구성되는 일반화된 경로 형식을 정의한다.
• Indicator, Message, Aggregate 함수를 사용한 일반화된 Bellman-Ford 해를 신경 매개변수화한 NBFNet를 도입한다.
• 동질 그래프와 지식 그래프에서 귀납적/전이적 설정 모두에서 NBFNet이 강력한 성능을 달성하고, 효율성과 해석 가능성 측면에서도 경쟁력을 보임을 입증한다.

제안 방법

• 노드 쌍 h_q(u,v)를 u와 v 사이의 모든 경로 표현의 일반화된 합으로 표현하고, 각 경로는 경로를 따라의 간선 표현의 일반화된 곱으로 표현된다.
• 합산 및 곱셈 연산자를 갖는 세링 프레임워크 하에서 일반화된 Bellman-Ford 알고리즘으로 경로 형식을 효율적으로 해결한다.
• 일반화된 Bellman-Ford 알고리즘을 세 가지 신경 구성요소: Indicator(경계 조건), Message(곱셈 연산자), Aggregate(합산 연산자)로 매개화한다.
• 에지 표현 w_q(x,r,v)는 학습되며 지식 그래프 임베딩의 관계 연산자와 연관될 수 있다; 이 모델은 귀납적 일반화를 지원한다.
• 지식 그래프의 삼중항과 동질 그래프의 간선을 점수화하기 위한 이진 예측 목표로 음수 샘플링(PCA)을 사용하여 학습한다.
• 삼중항 묶음당 평균 추론 시간 O(|E| d / |V| + d^2)을 달성하여 확장 가능한 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 경로 기반 표현 프레임워크가 전통적인 경로 지표와 현대 그래프 신경망을 링크 예측으로 포착하고 통합할 수 있는가?
• RQ2 학습 가능한 Bellman-Ford 기반 접근법으로 지식 그래프와 동질 그래프에서 귀납적/전이적 설정 모두에서 정확한 링크 예측을 수행할 수 있는가?
• RQ3 신경화된 연산자(Indicator, Message, Aggregate)가 경로 기반 형식에서 수공으로 설계된 연산자에 비해 성능과 해석 가능성을 향상시키는가?

주요 결과

• NBFNet은 데이터셋 전반에 걸쳐 지식 그래프 완성에서 최첨단 방법을 크게 능가하며, 최고의 경로 기반 방법과 비교해 HITS@1의 평균 상대 이점을 달성한다.
• 임베딩 기반 방법과 비교하여 NBFNet은 상당한 이점을 얻으며(예: HITS@1의 평균 상대 개선 약 18%), 매개변수는 훨씬 적게 사용한다(약 3M 대 30M의 트랜스E를 예로 들면 FB15k-237에서).
• NBFNet은 동질 그래프 링크 예측에서 강력한 결과를 제공하며 Cora와 PubMed에서 여러 베이스라인을 능가하고, CiteSeer의 희소성에도 불구하고 경쟁력을 유지한다.
• 귀납적 관계 예측에서 NBFNet은 모든 귀납 분할에서 최상의 결과를 달성하고 이전 방법에 비해 의미 있는 향상을 보이며(예: GraIL 대비 HITS@10에서 평균 22% 상대 이익).
• 소거 연구에서 고급 간선 표현(RotatE, DistMult 등)과 학습 가능한 Aggregate(PNA)가 눈에 띄는 이익을 보이고, 더 깊은 아키텍처가 6층 부근에서 포화에 이르러 성능을 향상시킨다.
• 이 프레임워크는 예측에 가장 큰 기여를 한 경로를 추출함으로써 경로 수준의 해석 가능성을 제공한다.