[논문 리뷰] Using Large Language Models for OntoClean-based Ontology Refinement

Yihang Zhao, Neil Vetter외 1명|arXiv (Cornell University)|2024. 03. 23.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 GPT-4와 같은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 OntoClean 방법론을 통해 온톨로지 정련 과정을 자동화하는 것을 제안한다. 특히, 강성(Rigidity), 정체성(Identity), 통합성(Utility)과 같은 철학적 메타성질을 클래스에 레이블링하는 방식을 제시한다. 계층적 온톨로지 표현을 기반으로 한 컨텍스트 내 프롬프팅을 통해 GPT-4는 모든 메타성질에서 95% 이상의 정확도를 달성하였으며, 이는 LLM을 전용 플러그인을 통해 온톨로지 도구에 통합하는 데 강력한 가능성을 보여준다.

ABSTRACT

This paper explores the integration of Large Language Models (LLMs) such as GPT-3.5 and GPT-4 into the ontology refinement process, specifically focusing on the OntoClean methodology. OntoClean, critical for assessing the metaphysical quality of ontologies, involves a two-step process of assigning meta-properties to classes and verifying a set of constraints. Manually conducting the first step proves difficult in practice, due to the need for philosophical expertise and lack of consensus among ontologists. By employing LLMs with two prompting strategies, the study demonstrates that high accuracy in the labelling process can be achieved. The findings suggest the potential for LLMs to enhance ontology refinement, proposing the development of plugin software for ontology tools to facilitate this integration.

연구 동기 및 목표

• OntoClean 방법론을 사용한 수동 온톨로지 정련의 과제를 해결하기 위해, 철학적 전문 지식이 필요하고 합의가 부족한 문제를 다루기 위해.
• 대규모 언어 모델(Large Language Models, LLMs)이 온톨로지 클래스에 OntoClean 메타성질을 자동으로 할당할 수 있는지 조사하기 위해.
• 이 작업에 대해 다양한 프롬프팅 전략(제로샷 및 컨텍스트 내 학습)의 효과를 평가하기 위해.
• 플랫 및 계층적 온톨로지 표현을 사용하여 GPT-3.5와 GPT-4 간 성능을 비교하기 위해.
• Protégé와 같은 온톨로지 도구에 LLM을 플러그인 기반으로 통합하여 확장 가능하고 인간이 참여하는 온톨로지 정련 워크플로우를 제안하기 위해.

제안 방법

• 연구는 두 가지 프롬프팅 전략을 사용한다: 제로샷 '순수' 프롬프팅과 OntoClean 메타성질 정의를 포함한 컨텍스트 내 학습 프롬프팅.
• 온톨로지 입력은 플랫 방식(엔티티 목록으로서의 표현)과 계층적 방식(온톨로지 그래프의 스패닝 트리에서 유도된 탭 들여쓰기 트리 형태)으로 표현되었다.
• LLM은 제공된 정의와 구조를 바탕으로 온톨로지 내 각 클래스에 관련된 모든 OntoClean 메타성질을 레이블링하도록 프롬프팅되었다.
• 실험은 Upper Ontology와 Mini Pizza Ontology라는 두 가지 벤치마크 온톨로지를 사용하여 수행되었다.
• 모델, 프롬프팅 유형, 표현 방식 간 성능을 비교하기 위해 각 설정당 30회의 시험을 실시하고 결과를 집계 및 분석하였다.
• 계층적 표현은 의미 있는 결과를 얻기 위해 필수적이었으며, 구조적 의존성이 부족하여 플랫 표현은 최종 분석에서 제외되었다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(Large Language Models)은 최소한의 프롬프팅으로 온톨로지 클래스에 OntoClean 메타성질을 정확하게 할당할 수 있는가?
• RQ2 컨텍스트 내 학습이 제로샷 프롬프팅에 비해 LLM의 온톨로지 메타성질 레이블링 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 LLM 선택(GPT-3.5 대비 GPT-4)이 철학적 성질 할당 성능에 유의미한 영향을 미치는가?
• RQ4 플랫 대비 계층적 온톨로지 표현 방식은 LLM이 생성한 레이블의 신뢰성에 어떤 영향을 미치는가?
• RQ5 LLM이 정체성과 통합성과 같은 추상적 온톨로지 개념을 철학적 추론이 필요한 상황에서 얼마나 잘 처리할 수 있는가?

주요 결과

• GPT-4는 컨텍스트 내 학습을 사용할 경우 모든 OntoClean 메타성질에서 약 4%의 오류율을 기록하여 95% 이상의 정확도를 달성하였다.
• GPT-3.5는 제로샷 설정에서 정체성과 통합성에 대해 60–70%의 오류율을 보였고, 강성과 의존성에 대해서는 35–40%의 오류율을 기록하여 부적절한 성능을 보였다.
• 컨텍스트 내 학습은 GPT-3.5의 강성과 의존성 성능을 향상시켜 오류율을 25–30%로 낮췄지만, 통합성에 대해서는 유의미한 영향을 미치지 못했다.
• 플랫 온톨로지 표현은 구조적 맥락 부족으로 인해 사용할 수 없는 결과를 낳았으며, 최종 분석에서 제외되었다.
• GPT-4의 통합성 성능은 컨텍스트 내 학습으로도 향상되지 않았으며, 이는 OntoClean에서 제공하는 추상적이고 오래된 정의가 모델의 해석을 방해할 수 있음을 시사한다.
• 결과는 LLM을 플러그인 기반으로 온톨로지 도구에 통합하는 것이 가능하며, 특히 고정확도의 인간-참여 온톨로지 정련 워크플로우에 적합하다는 것을 뒷받침한다.