[논문 리뷰] Inductive Relation Prediction on Knowledge Graphs.

Komal K. Teru, William L. Hamilton|arXiv (Cornell University)|2019. 11. 16.

Advanced Graph Neural Networks참고 문헌 11인용 수 11

한 줄 요약

GraIL은 지식 그래프에서 관계 예측을 위한 인덕티브 접근을 위한 그래프 신경망 프레임워크로, 국소적 서브그래프 구조에 대한 추론을 통해 엔티티에 의존하지 않는 관계적 의미를 학습한다. 이는 인덕티브 설정에서 규칙 유도 기반 모델보다 우수한 성능을 보이며, 전도적 설정에서 임bedding 모델과 앙상블할 경우 상당한 성능 향상을 보여, 상호보완적인 인덕티브 편향을 입증한다.

ABSTRACT

The dominant paradigm for relation prediction in knowledge graphs involves learning and operating on latent representations (i.e., embeddings) of entities and relations. However, these embedding-based methods do not explicitly capture the compositional logical rules underlying the knowledge graph, and they are limited to the transductive setting, where the full set of entities must be known during training. Here, we propose a graph neural network based relation prediction framework, GraIL, that reasons over local subgraph structures and has a strong inductive bias to learn entity-independent relational semantics. Unlike embedding-based models, GraIL is naturally inductive and can generalize to unseen entities and graphs after training. We provide theoretical proof and strong empirical evidence that GraIL can represent a useful subset of first-order logic and show that GraIL outperforms existing rule-induction baselines in the inductive setting. We also demonstrate significant gains obtained by ensembling GraIL with various knowledge graph embedding methods in the transductive setting, highlighting the complementary inductive bias of our method.

연구 동기 및 목표

• 임베딩 기반 방법이 새로운 엔티티로 일반화하는 데 한계가 있다는 점을 해결하기 위해 관계 예측을 위한 인덕티브 학습 프레임워크를 개발하는 것.
• 구조화된 서브그래프 기반 추론 메커니즘을 통해 지식 그래프 내 복합 논리 규칙을 명시적으로 포착하는 것.
• 인덕티브 설정에서 유용한 일阶논리의 부분집합을 표현할 수 있는 이론적으로 탄탄한 방법을 제공하는 것.
• 기존 규칙 유도 기반 모델 대비 인덕티브 관계 예측에서 뛰어난 성능을 보이는 것.

제안 방법

• GraIL은 관계 예측을 위해 엔티티 쌍 중심의 국소적 서브그래프 구조를 기반으로 작동하는 그래프 신경망을 사용한다.
• 메시지 전달 메커니즘을 활용해 이웃 정보를 집계함으로써 관계 추론에 관련된 구조적 패턴을 포착한다.
• 학습 후 새로운 엔티티와 그래프로 일반화할 수 있도록 인덕티브 편향을 갖춘 설계를 한다.
• 서브그래프 패턴을 평가하기 위한 학습 가능한 스코어링 함수를 통합한다.
• 이론적으로 GraIL이 유용한 일阶논리의 부분집합을 표현할 수 있음을 보여주며, 지식 그래프에서의 논리적 추론을 지원한다.
• GraIL을 지식 그래프 임베딩 모델과 앙상블하면 전도적 설정에서 성능 향상이 이루어지며, 이는 상호보완적인 인덕티브 편향을 시사한다.

실험 결과

연구 질문

• RQ1 그래프 신경망 프레임워크가 지식 그래프에서 국소적 서브그래프 추론을 통해 엔티티에 의존하지 않는 관계적 의미를 학습할 수 있는가?
• RQ2 GraIL의 인덕티브 설계는 기존 전도적 임베딩 기반 방법과 달리 새로운 엔티티와 그래프로의 일반화를 가능하게 하는가?
• RQ3 GraIL이 지식 그래프에서 복합 논리 규칙을 어느 정도 표현하고 추론할 수 있는가?
• RQ4 GraIL은 기존 규칙 유도 기반 모델 대비 인덕티브 관계 예측 설정에서 어떻게 성능을 냈는가?
• RQ5 전도적 설정에서 GraIL을 지식 그래프 임베딩 모델과 앙성할 경우 어떤 성능 향상이 달성되는가?

주요 결과

• GraIL은 새로운 엔티티로의 일반화 능력이 뛰어나, 인덕티브 설정에서 기존 규칙 유도 기반 모델을 능가한다.
• 이론적으로 GraIL이 지식 그래프에서 논리적 추론을 지원하는 데 유용한 일阶논리의 부분집합을 표현할 수 있음을 입증한다.
• 실험 결과, 전도적 설정에서 다양한 지식 그래프 임베딩 방법과 앙성했을 때 GraIL이 상당한 성능 향상을 보였다.
• GraIL의 인덕티브 성격 덕분에 훈련 중에 보지 못한 새로운 엔티티와 그래프로도 효과적으로 일반화된다.
• GraIL과 임베딩 모델 간의 상호보완적인 인덕티브 편향은 조합했을 때 성능 향상을 이끌어내며, 다양한 추론 메커니즘의 가치를 입증한다.