[논문 리뷰] OntoChat: a Framework for Conversational Ontology Engineering using Language Models

Boxuan Zhang, Valentina Anita Carriero외 5명|arXiv (Cornell University)|2024. 03. 09.

Natural Language Processing Techniques인용 수 4

한 줄 요약

OntoChat는 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 온톨로지 공학 작업, 즉 사용자 스토리 생성, 능력 질문(CQ) 추출, CQ 클러스터링, 온톨로지 테스트를 자동화하고 간소화하는 대화형 프레임워크이다. 이 프레임워크는 지원되는 CQ를 분류하는 데 87.5%의 정확도를 기록했으며, 수동 작업을 줄이고 요구사항 확보 효율을 향상시켜 도메인 전문가와 온톨로지 엔지니어 모두로부터 긍정적인 평가를 받았다.

ABSTRACT

Ontology engineering (OE) in large projects poses a number of challenges arising from the heterogeneous backgrounds of the various stakeholders, domain experts, and their complex interactions with ontology designers. This multi-party interaction often creates systematic ambiguities and biases from the elicitation of ontology requirements, which directly affect the design, evaluation and may jeopardise the target reuse. Meanwhile, current OE methodologies strongly rely on manual activities (e.g., interviews, discussion pages). After collecting evidence on the most crucial OE activities, we introduce extbf{OntoChat}, a framework for conversational ontology engineering that supports requirement elicitation, analysis, and testing. By interacting with a conversational agent, users can steer the creation of user stories and the extraction of competency questions, while receiving computational support to analyse the overall requirements and test early versions of the resulting ontologies. We evaluate OntoChat by replicating the engineering of the Music Meta Ontology, and collecting preliminary metrics on the effectiveness of each component from users. We release all code at https://github.com/King-s-Knowledge-Graph-Lab/OntoChat.

연구 동기 및 목표

• 수행에 있어 가장 수고스럽고 실수가 발생하기 쉬운 온톨로지 공학(OE) 활동을 특정하여 계산적 지원이 필요한 영역을 파악하기 위해.
• LLM을 활용해 요구사항 수확, 분석, 테스트 과정을 자동화하는 대화형 프레임워크를 설계하기 위해.
• 도메인 전문가와 온톨로지 설계자 간의 수동적이고 다자간 상호작용에서 발생하는 체계적 모호성과 편향을 줄이기 위해.
• 특히 음악 메타 온톨로지와 같은 실제 사례에 적용했을 때 온톨로지 개발의 속도 향상과 품질 향상을 위해 프레임워크의 효과성을 평가하기 위해.
• 커뮤니티의 도입과 LLM을 활용한 온톨로지 공학 분야의 향후 연구를 지원하기 위해 재현 가능하고 오픈소스 프로토타입을 공개하기 위해.

제안 방법

• 24명의 온톨로지 엔지니어를 대상으로 설문 조사를 실시하여, 어려움과 수작업 노력의 정도에 따라 온톨로지 공학 활동을 순위 매겼으며, 요구사항 수확 및 CQ 생성을 자동화할 만한 우선 과제로 선정하였다.
• LLM 기반 프롬프트를 통해 사용자 스토리 작성, CQ 추출, CQ 클러스터링, 온톨로지 테스트를 지원하는 대화형 에이전트인 OntoChat을 구축하였다.
• 도메인 전문가의 입력을 기반으로 LLM 워크플로우를 구현하여 사용자 스토리를 생성하고, 의미적으로 일관되며 범위에 부합하는 CQ를 추출하며, 이를 주제별 그룹으로 클러스터링하였다.
• 세부 조정된 LLM을 사용해 지원되는 CQ와 적대적 CQ를 구분함으로써 온톨로지 테스트를 평가하는 분류 모듈을 설계하였다.
• 사용자가 출력 결과를 수정함으로써 반복적 개선이 가능하도록 피드백 루프를 통합하여 초기 단계의 사양 수립 시 편향을 줄였다.
• 온라인 프로토타입을 배포하고, 질문지와 통제된 분류 작업을 통해 6명의 도메인 전문가와 8명의 온톨로지 엔지니어를 대상으로 평가를 실시하였다.

실험 결과

연구 질문

• RQ1 어느 온톨로지 공학 활동이 계산적 지원이 가장 필요한가?
• RQ2 LLM은 요구사항 수확, 분석, 테스트를 지원하는 대화형 온톨로지 공학 프레임워크를 어떻게 실현할 수 있는가?
• RQ3 LLM은 사용자 스토리 및 능력 질문 생성의 수작업을 어느 정도 줄이고 일관성을 향상시킬 수 있는가?
• RQ4 프레임워크는 유효한 CQ와 무효한 CQ를 식별하고 분류하는 데 얼마나 효과적인가?

주요 결과

• 80%의 도메인 전문가가 OntoChat이 생성한 사용자 스토리가 잘 구성되어 있고 관련성이 있다고 평가했으며, 6명 중 5명이 수동 커리레이션보다 이 프레임워크를 선호했다.
• 온톨로지 엔지니어의 62.5%가 CQ 클러스터링 기능이 직관적이라고 평가했고, 87.5%는 생성된 클러스터가 요구사항의 의미 있는 그룹화를 반영한다고 평가했다.
• 온톨로지 테스트 모듈은 지원되는 CQ를 분류하는 데 87.5%의 정확도를 기록했으며, 정밀도는 88%, 재현율은 85.7%였다.
• 8명의 온톨로지 엔지니어 중 6명은 CQ 생성 품질에 만족했지만, 2명은 엔티티 범위 정확도 문제를 지적하여 향후 개선 여지가 있음을 시사했다.
• 도메인 전문가의 50%는 사용자 스토리에 포함된 예시 데이터의 품질에 만족하지 못했으며, 이는 LLM 프롬프트 내에서 데이터 합성 기술 향상의 필요성을 강조한다.
• 모든 참가자가 OntoChat이 협업적이고 다수의 이해관계자가 참여하는 상황에서 온톨로지 공학의 시간과 노력을 줄이는 데 큰 잠재력을 지녔다고 공감했다.