[논문 리뷰] A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning

Yuanning Cui, Zequn Sun외 1명|arXiv (Cornell University)|2024. 10. 16.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 다양한 새로운 지식 그래프에서 일반적인 문맥 내 추론을 가능하게 하는 프롬프트 기반 지식 그래프 기초 모델인 KG-ICL을 제안한다. 질문과 관련된 프롬프트 그래프를 구성하고, 엔티티와 관계 간의 일반화를 위해 통합 토크나이저를 사용함으로써, 프롬프트 인코딩과 지식 그래프 추론을 위한 두 개의 메시지 전달 네트워크를 활용하여, 전도적 및 인덕티브 설정에서 43개 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Extensive knowledge graphs (KGs) have been constructed to facilitate knowledge-driven tasks across various scenarios. However, existing work usually develops separate reasoning models for different KGs, lacking the ability to generalize and transfer knowledge across diverse KGs and reasoning settings. In this paper, we propose a prompt-based KG foundation model via in-context learning, namely KG-ICL, to achieve a universal reasoning ability. Specifically, we introduce a prompt graph centered with a query-related example fact as context to understand the query relation. To encode prompt graphs with the generalization ability to unseen entities and relations in queries, we first propose a unified tokenizer that maps entities and relations in prompt graphs to predefined tokens. Then, we propose two message passing neural networks to perform prompt encoding and KG reasoning, respectively. We conduct evaluation on 43 different KGs in both transductive and inductive settings. Results indicate that the proposed KG-ICL outperforms baselines on most datasets, showcasing its outstanding generalization and universal reasoning capabilities. The source code is accessible on GitHub: https://github.com/nju-websoft/KG-ICL.

연구 동기 및 목표

• 다양한 지식 그래프 간 일반화 및 이식 가능성의 부족을 해결하기 위해.
• 재학습이나 사전 학습된 임베딩이 필요 없이 새로운 엔티티와 관계에 대한 인덕티브 추론을 가능하게 하기 위해.
• 전체 관계 그래프의 한계를 극복하기 위해 프롬프트 그래프를 통해 국소적이고 질문과 관련된 맥락에 집중하기 위해.
• 공통 토큰화 체계를 사용하여 다양한 지식 그래프 간의 일반화를 가능하게 하는 통합 표현 프레임워크를 개발하기 위해.
• 문맥 내 학습을 통해 기존에 본 적 없는 지식 그래프에서 제로샷 또는 피셔샷 추론 능력을 달성하기 위해.

제안 방법

• 질문과 관련된 예시 사실을 중심으로 하는 프롬프트 그래프를 구성하며, 주어와 목적어 사이의 인접한 엔티티와 관계 경로를 포함한다.
• 질문의 주어와 목적어로부터의 최단 경로 거리 기반으로 엔티티와 관계를 공통 토큰 클래스로 매핑하는 통합 토크나이저를 도입한다.
• 로컬 맥락을 사용하여 표현을 업데이트하기 위해 프롬프트 인코더에서 엔티티 중심 및 관계 중심의 메시지 전달 메커니즘을 활용한다.
• 학습된 프롬프트 표현을 사용하여 타겟 지식 그래프에서 관계 및 엔티티 임베딩을 초기화하여 후속 추론을 수행한다.
• 초기화된 표현을 사용하여 전체 지식 그래프에서 메시지 전달을 수행하여 질문에 대한 후보 엔티티의 점수를 산정한다.
• 프롬프트 그래프 내에 소수의 예시를 제공함으로써 문맥 내 학습을 활용하여, 미세조정 없이 새로운 지식 그래프로 제로샷 이식을 가능하게 한다.

Figure 1 : Overview of the in-context KG reasoning foundation model. (A) Given the query and KG, we extract prompt graphs as context for the query relation “player in league”. The entities and relations in the prompt graphs are mapped to the unified tokens. (B) We employ a message passing neural net

실험 결과

연구 질문

• RQ1 재학습 없이도 다양한 새로운 지식 그래프에서 추론할 수 있는 단일 기초 모델이 가능한가?
• RQ2 전체 관계 그래프를 넘어서 국소적이고 질문과 관련된 맥락을 효과적으로 포착하여 관계 표현을 향상시킬 수 있는가?
• RQ3 통합 토큰화 체계가 다양한 엔티티 및 관계 어휘를 가진 지식 그래프 간 이식 가능성을 어느 정도 향상시킬 수 있는가?
• RQ4 프롬프트 그래프를 사용한 문맥 내 학습이 새로운 엔티티와 관계에 대해 전통적인 인덕티브 추론 모델보다 우월한가?
• RQ5 실제 세계의 다양한 지식 그래프에서 전도적 및 인덕티브 추론 설정 모두에서 높은 성능을 유지할 수 있는가?

주요 결과

• KG-ICL은 전도적 및 인덕티브 설정에서 43개의 다른 지식 그래프에서 기존 베이스라인을 모두 능가하며 강력한 일반화 능력을 입증한다.
• 43개 데이터셋의 전체 후보 설정에서 평균 MRR가 0.473이고 H@10가 0.638로, 뛰어난 성능을 보인다.
• NELL-995 데이터셋에서 KG-ICL은 MRR가 0.534이고 H@10가 0.672를 기록하여 기존 방법보다 인덕티브 추론에서 뛰어난 성능을 보였다.
• Metafam 데이터셋에서는 MRR가 1.000이고 H@10가 1.000으로, 도전적인 오픈 월드 벤치마크에서 뛰어난 성능을 보였다.
• 수백만 개의 사실을 포함하는 대규모 데이터셋에서도 높은 성능를 유지하여 스케일러비리티와 효율성의 확인되었다.
• 제거 실험 결과, 프롬프트 그래프와 통합 토크나이저가 일반화에 핵심적임을 입증하였으며, 이를 제거할 경우 성능이 크게 저하됨을 확인하였다.

Figure 2 : MRR results on various KGs.