[논문 리뷰] Relational Message Passing for Knowledge Graph Completion

Hongwei Wang, Hongyu Ren외 1명|arXiv (Cornell University)|2020. 02. 17.

Advanced Graph Neural Networks참고 문헌 37인용 수 6

한 줄 요약

이 논문은 지식 그래프 완성에 대한 관계 기반 메시지 전파 프레임워크인 PathCon을 제안한다. PathCon은 간선 중심의 메시지 전파를 통해 엔티티 쌍 간의 관계적 맥락과 관계적 경로를 모두 모델링한다. 엔티티 임베딩 대신 관계 유형에 중점을 두어, 최신 기술 수준의 성능을 달성하고, 인덕티브 설정으로 일반화하며, 학습된 관계 상관관계를 통해 해석 가능한 예측을 제공한다.

ABSTRACT

Knowledge graph completion aims to predict missing relations between entities in a knowledge graph. In this work, we propose a relational message passing method for knowledge graph completion. Different from existing embedding-based methods, relational message passing only considers edge features (i.e., relation types) without entity IDs in the knowledge graph, and passes relational messages among edges iteratively to aggregate neighborhood information. Specifically, two kinds of neighborhood topology are modeled for a given entity pair under the relational message passing framework: (1) Relational context, which captures the relation types of edges adjacent to the given entity pair; (2) Relational paths, which characterize the relative position between the given two entities in the knowledge graph. The two message passing modules are combined together for relation prediction. Experimental results on knowledge graph benchmarks as well as our newly proposed dataset show that, our method PathCon outperforms state-of-the-art knowledge graph completion methods by a large margin. PathCon is also shown applicable to inductive settings where entities are not seen in training stage, and it is able to provide interpretable explanations for the predicted results. The code and all datasets are available at https://github.com/hwwang55/PathCon.

연구 동기 및 목표

• 지식 그래프 완성에서 임베딩 기반 방법의 한계, 특히 인덕티브 편향과 해석 가능성의 부족을 해결하기 위해.
• 관계 예측을 위해 국소 서브그래프 구조—관계적 맥락과 관계적 경로—를 더 효과적으로 모델링하기 위해.
• 노드 임베딩이 아닌 간선 특징(관계 유형)을 기반으로 메시지 전파를 수행하는 프레임워크를 개발하여, 인덕티브이고 효율적인 학습을 가능하게 하기 위해.
• 관계 유형 간 상관관계 패턴을 포착함으로써 해석 가능한 예측을 제공하기 위해.
• 기존 최신 기술 수준의 방법들을 초월하여 표준 벤치마크와 인덕티브 설정 모두에서 성능을 뛰어나게 하기 위해.

제안 방법

• 노드가 아닌 관계 유형에 기반해 간선 간 메시지를 전달하는 관계 기반 메시지 전파를 제안하여 주변 구조를 포착한다.
• 관계적 맥락(헤드 및 테일 엔티티의 이웃 관계)과 관계적 경로(그래프 내 엔티티 간 상대적 위치)를 위한 두 개의 메시지 전파 모듈을 도입한다.
• 노드와 간선 간의 교차 메시지 전파 방식을 활용하여 계산 복잡도를 감소시키면서도 표현력을 유지한다.
• 관계적 맥락과 경로 표현을 결합하기 위해 학습 가능한 어텐션 메커니즘을 사용하여 최종 관계 예측을 수행한다.
• 간선이 관계를 나타내고 메시지가 관계 체인을 따라 흐르는 관계 그래프를 기반으로 하는 GNN 유사 아키텍처를 설계한다.
• 관계 경로를 따라 메시지를 집계하기 위해 학습 가능한 라우팅 메커니즘을 적용하여 장거리 의존성을 모델링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 관계적 맥락과 관계적 경로를 동시에 모델링하면 기존 임베딩 기반 방법을 초월해 지식 그래프 완성 성능을 향상시킬 수 있는가?
• RQ2 노드 기반 메시지 전파에 비해 간선 중심 메시지 전파가 인덕티브 편향과 효율성 측면에서 지식 그래프 완성에서 더 우수한 성능을 낼 수 있는가?
• RQ3 제안된 방법이 표준 벤치마크에서 최신 기술 수준의 성능을 달성하는가, 특히 인덕티브 설정에서도 마찬가지인가?
• RQ4 관계 유형 간 상관관계를 포착함으로써 모델이 해석 가능한 설명을 제공할 수 있는가?
• RQ5 교차 메시지 전파 방식은 기존의 노드 기반 GNN과 비교해 계산 복잡도에 어떤 영향을 미치는가?

주요 결과

• PathCon은 FB15K-237와 DDB14를 포함한 표준 벤치마크에서 모든 최신 기술 수준의 지식 그래프 완성 방법을 압도하며, 새로운 SOTA 성능을 달성한다.
• 학습 중에 미리 보지 못한 엔티티가 존재하는 인덕티브 설정에서도 모델이 잘 일반화되어 테스트 시에 성공적으로 예측한다.
• 교차 메시지 전파 방식 덕분에 계산 복잡도가 기존의 노드 기반 GNN과 동일한 순서로 유지되어 확장성이 보장된다.
• 관계적 맥락과 관계적 경로 모두가 성능 향상에 핵심적이며, 이들의 공동 모델링이 뚜렷한 정확도 향상을 이끈다.
• 경로 및 맥락 관계를 강조함으로써 모델이 해석 가능한 예측을 제공하며, FB15K-237과 DDB14에서의 사례 연구를 통해 이를 입증한다.
• 실험 결과 RNN 기반 경로 모델링이 학습 가능한 어텐션보다 성능이 열 劣하므로, 경로 표현에 있어 아키텍처 선택의 중요성이 확인된다.