[논문 리뷰] A Theory of Link Prediction via Relational Weisfeiler-Leman on Knowledge Graphs

Xingyue Huang, Miguel Romero Orth외 2명|arXiv (Cornell University)|2023. 02. 04.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 지식 그래프에서 링크 예측을 위한 조건부 메시지 전파 신경망(C-MPNNs)을 소개한다. C-MPNNs는 소스 노드와 쿼리 관계에 조건화된 쌍방향 노드 표현을 계산한다. 이는 C-MPNNs와 관계적 Weisfeiler-Leman 알고리즘 사이의 이론적 연결을 수립하며, 이들의 표현 능력이 알고리즘과 일치함을 증명한다. 또한 글로벌 리더아웃 함수가 글로벌 그래프 구조를 포착하는 데 필수적임을 실험적으로 검증하였으며, 리더아웃 기반 모델이 실패하는 모델과 대비하여 100% 정확도를 기록한 합성 데이터셋에서 이를 입증하였다.

ABSTRACT

Graph neural networks are prominent models for representation learning over graph-structured data. While the capabilities and limitations of these models are well-understood for simple graphs, our understanding remains incomplete in the context of knowledge graphs. Our goal is to provide a systematic understanding of the landscape of graph neural networks for knowledge graphs pertaining to the prominent task of link prediction. Our analysis entails a unifying perspective on seemingly unrelated models and unlocks a series of other models. The expressive power of various models is characterized via a corresponding relational Weisfeiler-Leman algorithm. This analysis is extended to provide a precise logical characterization of the class of functions captured by a class of graph neural networks. The theoretical findings presented in this paper explain the benefits of some widely employed practical design choices, which are validated empirically.

연구 동기 및 목표

• 지식 그래프를 위한 그래프 신경망에 대한 체계적인 이론적 이해를 제공함. 특히 링크 예측 작업에 중점을 둔다.
• 다양한 링크 예측 모델을 조건부 메시지 전파 기반의 공통 프레임워크로 통합함.
• 관계적 Weisfeiler-Leman 알고리즘과 논리적 형식 체계를 사용하여 이러한 모델의 표현 능력을 특성화함.
• 이론적 통찰을 실험적으로 검증함. 특히 글로벌 리더아웃 함수가 글로벌 그래프 구조를 포착하는 데 미치는 영향을 중심으로 한다.
• NBFNets와 같은 모델의 경험적 성공을 제안된 프레임워크 내에서의 표현 능력에 기인함을 설명함.

제안 방법

• 소스 노드 u와 쿼리 관계 q에 조건화된 노드 표현을 갖는 조건부 메시지 전파 신경망(C-MPNNs)을 제안함. 이는 쌍방향 표현 학습을 가능하게 한다.
• 지식 그래프에 특화된 관계적 Weisfeiler-Leman 알고리즘을 도입하여 C-MPNNs의 표현 능력을 특성화함.
• 등급화된 모달 논리의 변종을 사용하여 C-MPNNs의 논리적 특성화를 정의함. 이는 모델의 능력에 대한 기술적 형식 체계를 제공한다.
• 그래프 쌍이 오직 글로벌 구조에서만 다름을 보이는 합성 데이터셋(TRI-SQR)을 사용하여 모델의 행동을 테스트함.
• 글로벌 합 리더아웃이 있는 모델과 없는 모델의 두 가지 변종을 사용하여 글로벌 정보 접근의 영향을 분리함.
• 모델을 4층, 32개의 은닉 차원, 학습률 1e-4로 설정하고, 성능 평가를 위해 500 에포크 동안 훈련함.

실험 결과

연구 질문

• RQ1 지식 그래프에서 다양한 링크 예측 모델을 하나의 이론적 프레임워크로 통합할 수 있는 방법은 무엇인가?
• RQ2 조건부 메시지 전파 신경망의 표현 능력은 무엇이며, 기존의 그래프 이somorphism 테스트와 어떤 관계가 있는가?
• RQ3 글로벌 리더아웃 함수와 같은 특정 설계 선택이 모델 성능을 크게 향상시키는 이유는 무엇이며, 이를 공식적으로 설명할 수 있는가?
• RQ4 NBFNets와 같은 모델의 성공은 그들의 표현 능력에 기인하는가? 그리고 이러한 능력은 더 넓은 모델 범주에 의해 포괄되는가?
• RQ5 등급화된 모달 논리와 같은 논리적 형식 체계는 C-MPNNs가 계산할 수 있는 함수를 어느 정도 특성화할 수 있는가?

주요 결과

• 글로벌 합 리더아웃을 갖는 C-MPNNs는 TRI-SQR 데이터셋에서 100% 정확도를 달성하여 삼각형과 정사각형 구성 간의 그래프 구조 차이를 정확히 식별함.
• 글로벌 리더아웃이 없는 C-MPNNs는 오직 50% 정확도를 기록하며, 로컬 표현이 동일한 그래프를 구분할 수 없기 때문에 무작위 추측과 동일한 성능을 보임.
• C-MPNNs의 표현 능력은 제안된 관계적 Weisfeiler-Leman 알고리즘과 일치함. 이는 모델 비교에 대한 이론적 기반을 확립함.
• 이 프레임워크는 NBFNets의 뛰어난 경험적 성능이 높은 표현 능력에 기인함을 설명하며, 이 능력은 다른 C-MPNN 인스턴스와도 공유됨.
• 글로벌 리더아웃 함수는 총 노드 수와 같은 글로벌 그래프 성질을 포착하는 데 필수적이며, 이는 이질적으로 보이는 그래프를 구분하는 데 필수적임.
• 등급화된 모달 논리에 의한 논리적 특성화는 C-MPNNs의 공식적이고 기술적인 대응을 제공하며, 표현 능력의 정밀한 분석을 가능하게 함.