[논문 리뷰] Relational Message Passing for Fully Inductive Knowledge Graph Completion

Yuxia Geng, Jiaoyan Chen외 5명|arXiv (Cornell University)|2022. 10. 08.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 관계 간 직접 메시지 전달을 통해 관계적 패턴을 활용하는 완전 순환 지식 그래프 완성을 위한 관계 기반 메시지 전파 네트워크 RMPI를 제안한다. 그래프 자르기, 관계 인지 어텐션, 온톨로지 체계 통합을 통해 RMPI는 완전 순환 KGC 벤치마크에서 최신 기술 수준의 성능을 달성하며, 새로운 엔티티와 새로운 관계를 동시에 처리하는 데서도 기존 방법을 능가한다.

ABSTRACT

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

연구 동기 및 목표

• 추론 시 새로운 엔티티와 새로운 관계가 모두 미리 보이지 않는 완전 순환 설정에서 지식 그래프 완성 문제를 해결한다.
• 기존 방법들이 본 관계를 가정하거나 텍스트 임베딩과 같은 외부 자원에 의존하는 한계를 극복한다.
• 엔티티에만 집중하는 것이 아니라 관계적 패턴을 명시적으로 모델링하는 메시지 전파 메커니즘을 개발한다.
• 그래프 자르기와 하위그래프 기능을 드러내는 방식을 통해 빈 하위그래프를 처리함으로써 추론 효율성과 강건성을 향상시킨다.
• 온톨로지 체계를 통합하여 관계 의미를 풍부화하고 완전 순환 일반화 능력을 향상시킨다.

제안 방법

• 엔티티를 통해가 아니라 관계 간 직접 메시지 전달을 수행하는 관계 기반 메시지 전파 네트워크를 제안하여 고차원 관계 패턴을 포착한다.
• 불필요한 하위그래프 구성요소를 제거함으로써 계산 비용을 줄이면서도 필수 추론 경로를 유지하는 그래프 자르기 전략을 도입한다.
• 예측 작업에 대한 관련성을 기반으로 이웃 관계의 가중치를 동적으로 조정하는 목표 관계 인지 주변 어텐션 메커니즘을 설계한다.
• 목표 트리플의 구조를 드러내는 하위그래프(즉, 드러낸 하위그래프)의 특징을 활용하여 봉쇄된 하위그래프 상황을 처리한다.
• 메시지 전파 과정에 온톨로지 체계 정보를 통합하여 관계 표현을 풍부화하고 새로운 관계로의 일반화 능력을 향상시킨다.
• 음성 샘플링을 사용한 연결 예측 목표로 엔드 투 엔드로 학습하며, 마진 기반 손실 함수를 최적화하여 삼중항 점수를 향상시킨다.

(a)

실험 결과

연구 질문

• RQ1 엔티티 중심 메시지 전파를 초월해 관계 간 메시지 전파가 지식 그래프 완성에서 순환 일반화 능력을 향상시키는가?
• RQ2 제안된 그래프 자르기 전략은 계산 오버헤드를 줄이면서도 성능을 유지하는 데 얼마나 효과적인가?
• RQ3 온톨로지 체계를 통합할 경우 완전 순환 KGC 작업에서 성능 향상은 어느 정도 이루어지는가?
• RQ4 주어진 주체, 목적어, 관계가 모두 완전히 새로운 경우에도 이 방법이 잘 작동하는가?
• RQ5 목표 관계 인지 어텐션 메커니즘은 하위그래프 추론에서 표준 어텐션 또는 균일한 집계 방식과 비교해 어떻게 성능을 냈는가?

주요 결과

• RMPI는 MaKEr, GraIL, TACT와 같은 기존 방법들을 능가하는 최신 기술 수준의 성능을 여러 완전 순환 KGC 벤치마크에서 달성한다.
• 제거 실험을 통해 온톨로지 체계 통합, 목표 관계 인지 어텐션, 드러낸 하위그래프 기능 집합 각각이 성능 향상에 상당한 기여를 한다는 것이 확인되었다.
• 그래프 자르기는 정확도를 유지하면서 추론 시간을 최대 40%까지 줄여 효율성 향상을 입증한다.
• 대부분의 이전 방법들이 실패하거나 외부 자원이 필요한 설정에서 새로운 관계가 완전히 새로운 경우에도 이 방법이 성공적으로 대처한다.
• 온톨로지 체계 통합으로 인해 Wikidata-100K 벤치마크에서 Hits@10 기준 상대적 향상도 최대 6.2%에 이르렀다.
• 다양한 데이터셋인 Wikidata-100K, YAGO3-10, NELL-995에서 모델이 잘 일반화되어 있어, 다양한 지식 그래프 구조에 대한 강건성을 보였다.

(b)