[논문 리뷰] KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models

Jiho Kim, Yeonsu Kwon외 2명|arXiv (Cornell University)|2023. 10. 17.

Topic ModelingComputer Science인용 수 3

한 줄 요약

KG-GPT는 문장 분할, 그래프 검색, 추론의 세 단계 과정을 통해 지식 그래프(KG)에서 대규모 언어 모델(LLM)을 활용한 추론을 위한 새로운 프레임워크이다. 이 프레임워크는 지식 그래프 기반 사실 검증 및 질문 응답 벤치마크에서 경쟁력 있는 성능을 기록하며, 완전히 지도 학습된 모델들을 능가하고 있으며, 다단계 추론 작업에서 뛰어난 내성적 안정성을 보여준다.

ABSTRACT

While large language models (LLMs) have made considerable advancements in understanding and generating unstructured text, their application in structured data remains underexplored. Particularly, using LLMs for complex reasoning tasks on knowledge graphs (KGs) remains largely untouched. To address this, we propose KG-GPT, a multi-purpose framework leveraging LLMs for tasks employing KGs. KG-GPT comprises three steps: Sentence Segmentation, Graph Retrieval, and Inference, each aimed at partitioning sentences, retrieving relevant graph components, and deriving logical conclusions, respectively. We evaluate KG-GPT using KG-based fact verification and KGQA benchmarks, with the model showing competitive and robust performance, even outperforming several fully-supervised models. Our work, therefore, marks a significant step in unifying structured and unstructured data processing within the realm of LLMs.

연구 동기 및 목표

• 대규모 언어 모델(LLM)을 활용하여 비구조적 텍스트 추론과 구조화된 지식 그래프(KG) 추론 간 격차를 해소하기 위함이다.
• 특히 복잡한 다단계 작업을 위한 LLM 기반 추론을 위한 일반화된 프레임워크의 부족을 해결하기 위함이다.
• 사실 검증 및 질문 응답과 같은 다양한 KG 기반 작업을 지원하는 통합형 엔드 투 엔드 프레임워크를 개발하기 위함이다.
• 경로 기반 추론에만 의존하는 것 대신, 관련된 부분 그래프(증거 그래프)를 검색하여 LLM 추론 능력을 향상시키기 위함이다.
• 프롬프트 내에서 학습(in-context learning)을 통해 미세조정 없이도 구조화된 지식을 효과적으로 처리할 수 있으며, 힙 수가 증가함에 따라 안정성을 유지할 수 있음을 입증하기 위함이다.

제안 방법

• 문장 분할: 입력된 진술이나 질문을 각각 단일 삼중항(헤드-관계-테일)에 대응하는 부분 문장으로 분할하여 추론을 단순화한다.
• 그래프 검색: LLM을 사용하여 부분 문장의 관계를 지식 그래프(KG) 내 잠재적 관계로 매핑하고, 증거 그래프 구축을 위한 후보 관계 풀을 검색한다.
• 증거 그래프 구축: 입력에서 추출한 관계와 엔터티를 사용하여 부분 KG(증거 그래프)를 구성한다. 이는 추론의 논리적 기반을 형성한다.
• 추론: 검색된 부분 KG을 프롬프트의 맥락으로 활용하여 LLM이 논리적 결론을 도출하도록 유도한다. 예를 들어 진술 검증 또는 답변 생성과 같은 작업을 수행한다.
• 모든 단계에서 미세조정 없이 LLM의 추론 능력을 극대화하기 위해 인라인 학습(in-context learning)을 활용한다.
• 동적으로 관련 그래프 구성 요소를 검색하고 조합함으로써 1단계 및 다단계 추론을 모두 지원한다.

실험 결과

연구 질문

• RQ1 LLM이 미세조정 없이 인라인 학습만을 사용하여 지식 그래프에서 복잡한 추론을 효과적으로 수행할 수 있는가?
• RQ2 KG-GPT의 부분 그래프 검색 전략은 경로 기반 추론에 비해 정확도와 내성적 안정성 측면에서 어떻게 비교되는가?
• RQ3 KG-GPT는 다단계 추론 작업에서 힙 수가 증가함에 따라 높은 성능을 유지하는가?
• RQ4 KG-GPT는 지식 그래프 기반 사실 검증 및 질문 응답 벤치마크에서 완전히 지도 학습된 모델들을 능가하는가?
• RQ5 그래프 검색 단계에서 검색된 후보 관계 수(k)에 따라 KG-GPT의 성능 민감도는 어떠한가?

주요 결과

• FactKG 벤치마크에서 KG-GPT는 상위 5개의 관계를 검색했을 때 72.68%의 정확도를 기록하며, 몇몇 완전히 지도 학습된 모델들을 능가했다.
• MetaQA 벤치마크에서 KG-GPT는 1단계 질문에 대해 96.3%, 2단계 질문에 대해 94.4%, 3단계 질문에 대해 94.0%의 정확도를 기록하여 힙 수 증가에 따른 성능 저하가 거의 없었다.
• 모든 힙 수준에서 높은 내성적 안정성을 유지하여 복잡한 다단계 추론 작업을 효과적으로 처리함을 시사했다.
• 관계 검색 시 k값(1, 3, 5)의 변화에 따라 성능 저하가 거의 없었으며, 검색된 삼중항 수는 다소 증가했지만 정확도는 안정적으로 유지되었다.
• 정성적 분석 결과, KG-GPT는 관련 증거 그래프를 정확히 검색하고 다양한 진술 및 질문에 대해 정확한 예측을 생성하는 것으로 확인되었다.
• 검색된 삼중항 평균 수는 k가 증가함에 따라 증가했지만 성능에 유의미한 하락이 없었으며, 이는 효율적이고 확장 가능한 부분 그래프 구축 방식임을 시사한다.