[논문 리뷰] LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT

Lars‐Peter Meyer, Claus Stadler외 7명|arXiv (Cornell University)|2023. 07. 13.

Semantic Web and Ontologies참고 문헌 5인용 수 7

한 줄 요약

이 논문은 지식 그래프 공학(KGE)에서 ChatGPT의 활용을 조사하며, 자연어에서 SPARQL 쿼리 생성, RDF 지식 그래프 다이어그램 생성, 온톨로지 개발 지원 기능을 입증한다. 주요 결과로는 ChatGPT가 문법적으로 올바르고 의미적으로 타당한 출력을 생성할 수 있지만, 자주 환각( hallucination )을 일으켜 검증이 필요하며, 과학적 엄밀성을 확보하기 위해 재현 가능하고 오픈소스인 대체 기술의 필요성을 강조한다.

ABSTRACT

Knowledge Graphs (KG) provide us with a structured, flexible, transparent, cross-system, and collaborative way of organizing our knowledge and data across various domains in society and industrial as well as scientific disciplines. KGs surpass any other form of representation in terms of effectiveness. However, Knowledge Graph Engineering (KGE) requires in-depth experiences of graph structures, web technologies, existing models and vocabularies, rule sets, logic, as well as best practices. It also demands a significant amount of work. Considering the advancements in large language models (LLMs) and their interfaces and applications in recent years, we have conducted comprehensive experiments with ChatGPT to explore its potential in supporting KGE. In this paper, we present a selection of these experiments and their results to demonstrate how ChatGPT can assist us in the development and management of KGs.

연구 동기 및 목표

• 대규모 언어 모델(LLM), 특히 ChatGPT의 지식 그래프 공학 작업 지원 잠재력을 평가하는 것.
• KGE에서 높은 작업 부담과 전문 지식 의존도 문제를 해결하기 위해 LLM 기반 자동화를 탐색하는 것.
• 지식 그래프 구축 및 쿼리 작업에서 수동 작업을 줄일 수 있는 실용적 사용 사례를 규명하는 것.
• 구조화된 지식 표현 작업에서 LLM이 생성한 출력의 신뢰성과 정확도를 평가하는 것.
• 환각 및 비공개 모델로 인한 재현 불가능성 등의 과제를 부각하는 것.

제안 방법

• 자연어 질문에서 SPARQL 쿼리를 생성하기 위해 ChatGPT-3.5를 사용한 실험 수행.
• 프롬프트 엔지니어링을 통해 Mermaid 및 Turtle 문법으로 RDF 지식 그래프 다이어그램 생성.
• 문법적 정확성, 의미 일관성, RDF/OWL 표준 준수 여부 기준으로 출력 평가.
• 접두사 추가 및 오류 수정을 포함한 반복적 프롬프트 적용을 통해 결과 개선.
• DBpedia와 같은 알려진 지식 그래프에 대해 생성된 SPARQL 쿼리 검증.
• 노드 및 간선 수, 레이블 일관성, rdfs:subClassOf 및 rdfs:subPropertyOf와 같은 표준 관계 사용 여부를 측정하여 다이어그램 품질 평가.

실험 결과

연구 질문

• RQ1 ChatGPT는 자연어 질문에서 의미적으로 타당하고 문법적으로 올바른 SPARQL 쿼리를 생성할 수 있는가?
• RQ2 ChatGPT는 텍스트 기반 기술서에서 정확하고 표준화된 RDF 지식 그래프 다이어그램을 어느 정도 생성할 수 있는가?
• RQ3 LLM이 생성한 출력은 지식 그래프 스키마 설계에서 얼마나 신뢰할 수 있으며, 일반적으로 발생하는 오류(예: 환각)는 어떤 유형인가?
• RQ4 반복적 프롬프트 적용은 LLM이 생성한 지식 그래프 자산의 품질과 정확도를 향상시킬 수 있는가?
• RQ5 지식 그래프 공학 분야의 과학적 연구에서 ChatGPT와 같은 비공개 소스 LLM을 사용할 때의 한계는 무엇인가?

주요 결과

• ChatGPT는 쿼리 실행을 통해 검증된 결과로, 목표 지식 그래프와 의미적으로 일치하고 문법적으로 올바른 SPARQL 쿼리를 성공적으로 생성하였다.
• 모델은 rdfs:subClassOf 관계를 사용해 DBpedia 클래스의 계층적 RDF 다이어그램을 생성하였으며, 10개의 노드와 12개의 간선을 포함하고, 접두사가 정확히 표기되고 OWL/Schema 관례를 준수하였다.
• 두 번째 프롬프트 반복에서 ChatGPT는 완전히 고유한 간선 17개와 노드 13개를 포함한 Mermaid 다이어그램을 생성하였으며, 일관된 레이블링을 보였지만, 하나의 개념(dbo:Occupation)은 존재하지 않았다.
• 모델은 능력적으로 컴petency 질문을 SPARQL 쿼리로 변환하고 지식 그래프 구조를 효과적으로 요약할 수 있었다.
• 강력한 성능에도 불구하고 모델은 환각 현상을 보였으며, 존재하지 않는 개념을 창출하거나 관계를 잘못 표현하는 경우가 있었다. 이는 수동 검증이 필수적임을 시사한다.
• ChatGPT의 비공개 소스 특성은 재현 가능성과 과학적 검토를 제약하며, 향후 연구에서 오픈웨이트 및 오픈데이터 LLM의 필요성을 강조한다.