[논문 리뷰] Iterative Zero-Shot LLM Prompting for Knowledge Graph Construction

Salvatore Carta, Alessandro Giuliani외 4명|arXiv (Cornell University)|2023. 07. 03.

Topic Modeling인용 수 21

한 줄 요약

이 논문은 외부 자원이나 예시 없이 unstructured 텍스트에서 지식 그래프의 스키마를 자동으로 추출, 해결 및 추론하기 위한 GPT-3.5를 이용한 반복적 제로샷 프롬프트 파이프라인을 제안한다.

ABSTRACT

In the current digitalization era, capturing and effectively representing knowledge is crucial in most real-world scenarios. In this context, knowledge graphs represent a potent tool for retrieving and organizing a vast amount of information in a properly interconnected and interpretable structure. However, their generation is still challenging and often requires considerable human effort and domain expertise, hampering the scalability and flexibility across different application fields. This paper proposes an innovative knowledge graph generation approach that leverages the potential of the latest generative large language models, such as GPT-3.5, that can address all the main critical issues in knowledge graph building. The approach is conveyed in a pipeline that comprises novel iterative zero-shot and external knowledge-agnostic strategies in the main stages of the generation process. Our unique manifold approach may encompass significant benefits to the scientific community. In particular, the main contribution can be summarized by: (i) an innovative strategy for iteratively prompting large language models to extract relevant components of the final graph; (ii) a zero-shot strategy for each prompt, meaning that there is no need for providing examples for "guiding" the prompt result; (iii) a scalable solution, as the adoption of LLMs avoids the need for any external resources or human expertise. To assess the effectiveness of our proposed model, we performed experiments on a dataset that covered a specific domain. We claim that our proposal is a suitable solution for scalable and versatile knowledge graph construction and may be applied to different and novel contexts.

연구 동기 및 목표

• 오픈 도메인 지식 그래프 구성의 주요 과제(데이터 품질, 확장성, 라벨 데이터 부족)를 해결한다.
• 외부 지식 베이스 없이 반복적 제로샷 LLM 프롬프트에 의존하는 완전 자동 KG 구성 파이프라인을 개발한다.
• 인간 개입 없이 도메인에 구애받지 않는 엔티티, 관계 및 학습된 스키마의 추출을 가능하게 한다.

제안 방법

• 구조화된 시스템 및 사용자 프롬프트 설계를 통해 텍스트 청크에서 후보 삼중항을 반복적으로 추출하기 위해 GPT-3.5를 사용한다.
• 타사 자원 없이 의미적으로 유사한 개념을 클러스터링하고 표현을 단일 표현으로 통합하는 엔티티/술어 해결 모듈을 활용한다.
• LLM 출력에 의해 안내되는 추론 구동 프롬프트 단계에서 자동으로 KG 스키마를 추론한다.
• 토큰 한계를 관리하고 청크 간 맥락을 보존하기 위해 중첩 윈도우를 사용한 텍스트 분할을 구현한다.
• 예시와 파인튜닝을 피하기 위해 모든 프롬프트에 제로샷 패러다임을 채택한다.
• 도메인 특화 텍스트에 적용하고 생성된 KG 구성 요소를 분석하여 파이프라인을 평가한다.

실험 결과

연구 질문

• RQ1 감독 없이 여러 텍스트 데이터 소스에서 정보를 효과적으로 추출하려면 어떻게 해야 하는가?
• RQ2 인간의 노력이나 외부 지식 베이스 없이 추출 품질을 어떻게 향상시킬 수 있는가?
• RQ3 외부 KB나 OpenIE 방법에 의존하지 않고 삼중항을 어떻게 생성할 수 있는가?
• RQ4 대규모 데이터세트에서 인간 개입 없이 확장 가능한 KG 구성을 가능하게 하는 전략은 무엇인가?
• RQ5 지식 비의존적 방식으로 모호성 처리 및 엔티티/술어 연결을 어떻게 신뢰성 있게 달성할 수 있는가?

주요 결과

• 인간 입력 없이 KG 구성을 자동화하는 반복적 LLM 프롬프트 파이프라인을 제안한다.
• 설명 및 유형이 있는 엔티티와 레이블 및 설명이 있는 술어를 식별하는 프롬프트를 개발하여 견고한 삼중항 생성을 돕는다.
• 외부 자원 없이 프롬프트 내에서 의미가 유사한 개념을 클러스터링하고 의미를 해결하는 엔티티/술어 해석 방법을 도입한다.
• 프롬프트가 예시나 지식 베이스를 필요로 하지 않으면서 도메인에 구애받지 않는 스키마 생성을 지원하는 제로샷 접근을 시연한다.
• 파이프라인이 대규모 데이터를 인간의 노력 없이 처리할 수 있으며 생성된 기준 프롬프트를 통해 평가의 토대를 제공함을 보여준다.