[논문 리뷰] Towards Ontology Construction with Language Models

Maurice Funk, Simon Hosemann외 2명|arXiv (Cornell University)|2023. 09. 18.

Semantic Web and Ontologies인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델(LLM), 특히 GPT-3.5를 사용하여 개념 계층 구조를 완전히 자동으로 구성하는 새로운 방법을 제안한다. 이 방법은 반복적으로 LLM에 하위 개념을 생성하도록 질의하고, 프롬프트 기반 검증을 통해 출력를 검증함으로써 작동한다. 이 접근법은 다양한 도메인에서 합리적이고 공개 가능한 온톨로지 구조를 생성하며, LLM의 온톨로지 구축 가속화 잠재력은 높지만, 환상 및 문화적 편향과 같은 과제를 드러낸다.

ABSTRACT

We present a method for automatically constructing a concept hierarchy for a given domain by querying a large language model. We apply this method to various domains using OpenAI's GPT 3.5. Our experiments indicate that LLMs can be of considerable help for constructing concept hierarchies.

연구 동기 및 목표

• 수동 온톨로지 구축의 높은 비용과 복잡성을 해결하기 위해 LLM을 도메인 전문가로 활용하고자 한다.
• 사전에 정의된 스키마나 기존 온톨로지 구조가 필요 없이 개념 계층(is-a 관계)을 생성하는 방법을 개발하고자 한다.
• 다양한 도메인에서 수동 검토를 통해 LLM에 의해 생성된 온톨로지의 타당성과 품질을 평가하고자 한다.
• 프롬프트 엔지니어링과 검증 메커니즘이 환상과 오류를 줄이고 신뢰성을 향상시키는 데서의 역할을 탐색하고자 한다.
• 향후 인간 전문가가 참여하는 상호작용형 LLM 보조 온톨로지 구축 파이프라인의 기반을 마련하고자 한다.

제안 방법

• 메서드는 초기 개념(예: '동물')으로 시작하여, 반복적으로 LLM에 관련 하위 개념을 생성하도록 질의한다.
• 방향 비순환 그래프(DAG)로 계층을 관리하기 위해 순회 알고리즘을 사용하며, 각 개념이 다수의 슈퍼개념을 가질 수 있도록 한다.
• 각 생성된 개념은 인간의 검토와 검증을 위해 LLM이 제공한 텍스트 기술서와 함께 제공된다.
• 개념 관계의 일관성과 정확성을 점검하기 위해 추가적인 LLM 질의를 통해 검증을 수행한다.
• 최소한의 few-shot 예시를 사용하여 프롬프트 엔지니어링을 통해 LLM이 구조적이고 도메인 관련 출력을 유도한다.
• 이 방법은 완전히 자동화되어 있으며 수동 후처리가 필요 없으며, 생성된 온톨로지는 모두 공개 가능하다.

실험 결과

연구 질문

• RQ1 LLM은 사전 정의된 스키마 없이 의미 있고 일관된 개념 계층을 효과적으로 생성할 수 있는가?
• RQ2 LLM이 다양한 도메인에서 생성한 하위 개념과 is-a 관계의 정확도와 일관성은 어느 정도인가?
• RQ3 프롬프트 엔지니어링과 검증 메커니즘이 LLM에 의해 생성된 온톨로지의 환상과 오류를 어느 정도 줄일 수 있는가?
• RQ4 LLM의 학습 데이터에 내재된 문화적 및 언어적 편향이 생성된 온톨로지의 구조와 내용에 어떤 영향을 미치는가?
• RQ5 LLM이 온톨로지 공학에서 인간 전문가의 역할을 지원하거나 보완하는 데 어떤 잠재력을 지니는가?

주요 결과

• 동물, 음료, 음악, 식물 등의 도메인에서 수동 검토를 통해 LLM에 의해 생성된 온톨로지가 합리적이고 유용하다고 평가되었다.
• 이 방법은 최소한의 인간 간섭으로도 도메인 관련 개념과 그 계층적 관계를 풍부하게 생성하는 데 성공했다.
• 환상과 오류는 존재하지만, 검증 질의와 철저한 프롬프트 엔지니어링을 통해 크게 감소시킬 수 있었다.
• 생성된 온톨로지에는 문화적 편향이 드러나 있었으며, 예를 들어 '차이'를 '스파iced 티'와 동일시하는 식으로, 학습 데이터의 서양 및 미국 중심 시각을 반영하고 있었다.
• 이 방법은 LLM이 초도 온톨로지 구축을 위한 효과적이고 확장 가능하며 저비용의 도구로 활용될 수 있음을 보여주었으며, LLM이 텍스트 생성을 보조하는 방식과 유사하다.
• 이 방법은 성질, 상호 배타성 제약, OWL 또는 RDF 스키마와 같은 형식 언어를 포함한 더 표현력 있는 온톨로지로의 확장이 가능하다.