[논문 리뷰] Exploring Large Language Models for Knowledge Graph Completion

Liang Yao, Jiazhen Peng외 2명|arXiv (Cornell University)|2023. 08. 26.

Topic Modeling인용 수 23

한 줄 요약

논문은 KG-LLM을 소개한다. 이는 KG 트리플을 텍스트 프롬프트로 바꾸고 지시-튜닝된 대형 언어 모델을 사용하여 KG 보완을 수행하며, 강력한 결과를 보이고 소형 미세-튜닝 모델이 여러 작업에서 ChatGPT/GPT-4보다 우수할 수 있음을 보여준다.

ABSTRACT

Knowledge graphs play a vital role in numerous artificial intelligence tasks, yet they frequently face the issue of incompleteness. In this study, we explore utilizing Large Language Models (LLM) for knowledge graph completion. We consider triples in knowledge graphs as text sequences and introduce an innovative framework called Knowledge Graph LLM (KG-LLM) to model these triples. Our technique employs entity and relation descriptions of a triple as prompts and utilizes the response for predictions. Experiments on various benchmark knowledge graphs demonstrate that our method attains state-of-the-art performance in tasks such as triple classification and relation prediction. We also find that fine-tuning relatively smaller models (e.g., LLaMA-7B, ChatGLM-6B) outperforms recent ChatGPT and GPT-4.

연구 동기 및 목표

• 대형 언어 모델(LLM)을 사용하여 텍스트 시퀀스 모델링 과제로 지식 그래프 보완의 필요성을 제시한다.
• 오픈 LLM의 지시 튜닝이 최첨단 KG 보완 결과를 낼 수 있는지 조사한다.
• 표준 KG 벤치마크에서 다양한 LLM 및 미세 조정 구성을 비교 평가한다.
• 프롬프트에 KG의 구조 정보를 포함시키는 것이 보완 성능에 미치는 영향을 탐색한다.

제안 방법

• 엔티티, 관계, 트리플을 텍스트 시퀀스로 취급하고 KG 보완을 시퀀스-투-시퀀스 문제로 구성한다.
• 오픈 LLM(ChatGLM-6B with P-tuning v2 및 LLaMA 1/2 with LoRA)을 KG-LLM 모델로 미세 조정한다.
• 트리플 분류, 관계 예측, 엔티티/링크 예측에 대한 태스크 프롬프트를 구성하여 모델이 그럴듯한 응답을 생성하도록 한다.
• prompts에 contextual cues를 제공하기 위해 엔티티 예측 태스크에서 인접한 K개의 엔티티를 샘플링하여 로컬 KG 구조를 도입한다.
• KG-LLM을 표준 KG 임베딩 및 사전 학습된 LM(ChatGPT 및 GPT-4 포함)과 비교 평가한다.
• WN11, FB13, WN18RR, YAGO3-10 데이터셋에서 평가하되 GPT-4 접근 제한으로 FB13-100, YAGO3-10-100의 100-샘플 부분집합도 포함한다.

실험 결과

연구 질문

• RQ1 지시 튜닝된 오픈 LLM이 트리플 분류, 관계 예측, 엔티티 예측 작업에서 효과적인 지식 그래프 보완 모델로 기능할 수 있는가?
• RQ2 더 작고 지시 튜닝된 LLM이 KG 보완 벤치마크에서 독점적 ChatGPT 및 GPT-4보다 우수한가?
• RQ3 프롬프트를 통한 KG 구조 정보 도입이 KG 보완 성능에 어떤 영향을 미치는가?
• RQ4 LLaMA 기반과 ChatGLM 기반 KG-LLM의 KG 보완 작업에서 상대적 강점은 무엇인가?

주요 결과

• KG-LLM은 KG 보완 태스크에서 강력한 성능을 나타내며, 지시 튜닝이 성능 향상에 크게 기여한다.
• KG-LLaMA-7B 및 KG-LLaMA-13B가 ChatGPT 및 GPT-4에 비해 여러 척도에서 경쟁적이거나 우수한 결과를 보인다.
• KG-LLaMA-13B 및 KG-LLaMA2-13B가 WN11 및 FB13에서 높은 트리플 분류 정확도를 달성하며 LLaMA 베이스라인을 상회하고 일부 경우 GPT-4에 근접하거나 일치한다.
• KG-LLaMA-7B가 YAGO3-10의 관계 예측에서 선두적인 Hits@1를 달성하며 여러 베이스라인 및 일부 대형 LLM을 상회한다.
• 구조적 정보(이웃 엔티티)를 포함하는 것이 상당한 이점을 가져오며, 텍스트 프롬프트와 KG 구조의 결합 이점을 강조한다.
• 지시 전환은 LLM이 저장된 지식을 보다 효과적으로 활용하도록 만들어 비지시-튜닝 기준선 대비 응답이 개선되는 모습을 보여준다.