[논문 리뷰] LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities

Yuqi Zhu, Xiaohan Wang외 7명|arXiv (Cornell University)|2023. 05. 22.

Semantic Web and Ontologies인용 수 36

한 줄 요약

본 논문은 KG 구축 및 추론에서 GPT-3.5/ChatGPT/GPT-4를 여덟 데이터셋에 걸쳐 평가하고, 가상 지식 추출 작업을 VINE 데이터셋과 함께 도입하며, 다중 에이전트 LLM을 활용한 자동 KG 구축 및 추론 AutoKG를 제안한다.

ABSTRACT

This paper presents an exhaustive quantitative and qualitative evaluation of Large Language Models (LLMs) for Knowledge Graph (KG) construction and reasoning. We engage in experiments across eight diverse datasets, focusing on four representative tasks encompassing entity and relation extraction, event extraction, link prediction, and question-answering, thereby thoroughly exploring LLMs' performance in the domain of construction and inference. Empirically, our findings suggest that LLMs, represented by GPT-4, are more suited as inference assistants rather than few-shot information extractors. Specifically, while GPT-4 exhibits good performance in tasks related to KG construction, it excels further in reasoning tasks, surpassing fine-tuned models in certain cases. Moreover, our investigation extends to the potential generalization ability of LLMs for information extraction, leading to the proposition of a Virtual Knowledge Extraction task and the development of the corresponding VINE dataset. Based on these empirical findings, we further propose AutoKG, a multi-agent-based approach employing LLMs and external sources for KG construction and reasoning. We anticipate that this research can provide invaluable insights for future undertakings in the field of knowledge graphs. The code and datasets are in https://github.com/zjunlp/AutoKG.

연구 동기 및 목표

• LLM의 제로샷 및 원샷 성능을 KG 구축 과제(NER, RE, EE, EL) 및 KG 추론(LP) 및 QA에 대해 평가한다.
• 가상 지식 추출과 VINE 데이터셋을 통해 정보 추출에 대한 LLM의 일반화 능력을 조사한다.
• 자동 KG 구축 및 추론을 위한 다중 에이전트 LLM 프레임워크 AutoKG를 제안한다.
• KG 워크플로우에서 LLM 활용에 대한 통찰과 향후 방향을 제시한다.

제안 방법

• 엔터티, 관계, 이벤트 추출, 연결 예측 및 QA를 다루는 8개의 KG 관련 작업과 8개의 데이터셋을 고찰한다.
• GPT-4, ChatGPT, 및 text-davinci-003의 제로샷 및 원샷 성능을 SOTA 기준선과 비교한다.
• 보이지 않는 엔티티 및 관계에 대한 가상 지식 추출을 테스트하기 위해 VINE 데이터셋을 만든다.
• LLMs가 KG를 구성하고 추론하기 위해 반복적으로 협력하는 다중 에이전트 프레임워크 AutoKG를 개발한다.

실험 결과

연구 질문

• RQ1 제로샷 및 원샷 설정에서 LLM(GPT-4, ChatGPT)이 KG 구축 및 추론 과제에서 SOTA 또는 근접한 SOTA 성능을 달성할 수 있는가?
• RQ2 가상 지식 작업을 통한 정보 추출에서 LLM이 강한 일반화 및 지시 주도 학습을 보이는가?
• RQ3 다중 에이전트 LLM 프레임워크(AutoKG)가 KG 구축 및 추론을 효과적으로 자동화할 수 있는가?
• RQ4 데이터셋 품질, 프롬프트, 평가 방법 등 어떤 요인이 도메인에 걸친 KG 과제에서 LLM 성능에 영향을 미치는가?
• RQ5 LLM이 지식을 암기하는가 아니면 지시 이행을 통해 보이지 않는 지식으로 일반화하는가?

주요 결과

• GPT-4는 일반적으로 KG 구성 과제에서 ChatGPT를 능가하며 특정 추론 및 QA 데이터셋에서 일부 미세 조정된 모델을 능가할 수 있다.
• LLMs는 KG 추론 및 QA에서 KG 구성보다 더 강한 성능을 보이며, 제로샷 또는 원샷 설정에서 추론에서 SOTA에 근접하거나 일치하는 경우가 많다.
• 새로운 가상 지식 추출 작업과 VINE 데이터셋은 명령어를 통해 보이지 않는 가상 지식으로 일반화하는 GPT-4의 능력을 보여준다.
• GPT-4는 보이지 않는 엔티티 및 관계에서 높은 정확도로 가상 트리플을 추출할 수 있어 강한 지시 주도 일반화를 시사한다.
• 원샷 프롬프트는 일부 결과를 개선하지만 과제와 모델에 따라 효과가 달라지며 도메인 특화 데이터에서 이득이 더 작게 나타난다.
• AutoKG는 다중 에이전트 대화 기반 접근 방식이 KG를 효과적으로 구축하고 추론할 수 있음을 보여주며 향후 자동화 가능성을 강조한다.