[논문 리뷰] How Does Knowledge Graph Embedding Extrapolate to Unseen Data: A Semantic Evidence View

Ren Li, Yanan Cao외 5명|arXiv (Cornell University)|2021. 09. 24.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 지식 그래프 임bedding(KGE) 외삽을 설명하기 위한 새로운 프레임워크인 의미적 증거(SE)를 소개한다. SE는 관계 수준의 동시출현, 엔티티 수준의 경로 연결, 삼중항 수준의 유사도의 세 가지 수준의 의미적 지원을 식별한다. 이는 구조화된 이웃 패턴과 다층 집합을 통해 이러한 증거를 명시적으로 모델링하는 GNN 기반 KGE 모델인 SE-GNN을 제안하며, FB15k-237과 WN18RR에서 최고 성능을 기록하고 외삽 능력이 향상되었다.

ABSTRACT

Knowledge Graph Embedding (KGE) aims to learn representations for entities and relations. Most KGE models have gained great success, especially on extrapolation scenarios. Specifically, given an unseen triple (h, r, t), a trained model can still correctly predict t from (h, r, ?), or h from (?, r, t), such extrapolation ability is impressive. However, most existing KGE works focus on the design of delicate triple modeling function, which mainly tells us how to measure the plausibility of observed triples, but offers limited explanation of why the methods can extrapolate to unseen data, and what are the important factors to help KGE extrapolate. Therefore in this work, we attempt to study the KGE extrapolation of two problems: 1. How does KGE extrapolate to unseen data? 2. How to design the KGE model with better extrapolation ability? For the problem 1, we first discuss the impact factors for extrapolation and from relation, entity and triple level respectively, propose three Semantic Evidences (SEs), which can be observed from train set and provide important semantic information for extrapolation. Then we verify the effectiveness of SEs through extensive experiments on several typical KGE methods. For the problem 2, to make better use of the three levels of SE, we propose a novel GNN-based KGE model, called Semantic Evidence aware Graph Neural Network (SE-GNN). In SE-GNN, each level of SE is modeled explicitly by the corresponding neighbor pattern, and merged sufficiently by the multi-layer aggregation, which contributes to obtaining more extrapolative knowledge representation. Finally, through extensive experiments on FB15k-237 and WN18RR datasets, we show that SE-GNN achieves state-of-the-art performance on Knowledge Graph Completion task and performs a better extrapolation ability. Our code is available at https://github.com/renli1024/SE-GNN.

연구 동기 및 목표

• KGE 모델이 미리 보지 않은 삼중항으로 일반화할 수 있도록 하는 근본적인 메커니즘을 이해하기 위해.
• 미리 보지 않은 삼중항으로의 외삽을 뒷받침하는 훈련 데이터 내 핵심 의미적 요소를 특정하기 위해.
• 이러한 요소를 명시적으로 활용하여 외삽 성능을 향상시킬 수 있는 KGE 모델을 설계하기 위해.
• 표준 벤치마크에서 광범위한 실험을 통해 의미적 증거(SE)의 유효성을 검증하기 위해.

제안 방법

• 세 가지 유형의 의미적 증거(SE): 관계 수준의 동시출현, 엔티티 수준의 경로 연결, 후보 엔티티와 진짜 엔티티 간의 삼중항 수준의 유사도를 제안한다.
• 각 SE 유형을 별도의 지표로 정량화한다: 동시출현 빈도, 최단 경로 수, 임베딩 유사도.
• 각 수준의 SE를 인코딩하기 위해 별도의 이웃 패턴을 사용하는 SE-GNN이라는 GNN 기반 KGE 모델을 설계한다.
• 다층 그래프 집합을 통해 다양한 레이어 간에 SE 표현을 융합하고 개선한다.
• 정보 泄漏를 방지하고 실제 외삽 시나리오를 시뮬레이션하기 위해 훈련 중에 엣지 마스킹을 적용한다.
• 메시지 전파를 향상시키기 위해 역관계를 통한 이중 예측과 무방향 그래프 구조를 통합한다.

실험 결과

연구 질문

• RQ1 훈련 데이터 내 어떤 의미적 요소가 KGE 모델이 미리 보지 않은 삼중항으로 외삽할 수 있도록 하는가?
• RQ2 관계 수준, 엔티티 수준, 삼중항 수준의 의미적 증거가 외삽 성능에 어떻게 기여하는가?
• RQ3 의미적 증거의 명시적 모델링이 기존 방법을 초월해 KGE 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ4 의미적 증거의 강도와 미리 보지 않은 데이터에서의 모델 성능 간의 상관관계는 어떠한가?

주요 결과

• 의미적 증거(SE) 지표인 동시출현, 경로 연결, 유사도가 여러 KGE 모델에서 외삽 성능과 강하게 상관되어 있다.
• 특히 엔티티 수준과 삼중항 수준에서 SE 값이 높을수록, 모델은 미리 보지 않은 삼중항에서 유의미하게 더 높은 성능을 달성한다.
• SE-GNN은 FB15k-237과 WN18RR 양쪽에서 최고 성능을 기록하며 뛰어난 외삽 능력을 입증하였다.
• 절단 실험 결과, 세 가지 SE 수준의 명시적 모델링이 성능 향상에 기여하며, 특히 관계 수가 적은 WN18RR에서는 엔티티 수준과 삼중항 수준의 SE가 더 큰 영향을 미친다.
• 다양한 KGE 모델에서 두 데이터셋 모두에서 SE 강도와 모델 성능 간의 상관관계가 일관되게 유지되어, SE 프레임워크의 일반성과 타당성을 입증한다.