[논문 리뷰] Dynamic Retrieval Augmented Generation of Ontologies using Artificial Intelligence (DRAGON-AI)

Sabrina Toro, Anna V. Anagnostopoulos외 28명|arXiv (Cornell University)|2023. 12. 18.

Semantic Web and Ontologies인용 수 6

한 줄 요약

DRAGON-AI는 대규모 언어 모델(Large Language Models, LLMs)과 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 활용하여 다수의 구조화된 온톨로지 및 비구조화된 텍스트 자료에서 지식을 검색함으로써 온톨로지 구축을 자동화하는 동적이고 검색 증강형 생성 프레임워크를 제안한다. 관계 생성에서 높은 정밀도를 달성하였고, 인간 평가 기준으로 수용 가능한 정의를 생성하였지만 전문가가 작성한 것만큼 뛰어나지는 않아 전문가의 감시 하에 온톨로지 개발 속도를 향상시킬 잠재력을 보여준다.

ABSTRACT

Background: Ontologies are fundamental components of informatics infrastructure in domains such as biomedical, environmental, and food sciences, representing consensus knowledge in an accurate and computable form. However, their construction and maintenance demand substantial resources and necessitate substantial collaboration between domain experts, curators, and ontology experts. We present Dynamic Retrieval Augmented Generation of Ontologies using AI (DRAGON-AI), an ontology generation method employing Large Language Models (LLMs) and Retrieval Augmented Generation (RAG). DRAGON-AI can generate textual and logical ontology components, drawing from existing knowledge in multiple ontologies and unstructured text sources. Results: We assessed performance of DRAGON-AI on de novo term construction across ten diverse ontologies, making use of extensive manual evaluation of results. Our method has high precision for relationship generation, but has slightly lower precision than from logic-based reasoning. Our method is also able to generate definitions deemed acceptable by expert evaluators, but these scored worse than human-authored definitions. Notably, evaluators with the highest level of confidence in a domain were better able to discern flaws in AI-generated definitions. We also demonstrated the ability of DRAGON-AI to incorporate natural language instructions in the form of GitHub issues. Conclusions: These findings suggest DRAGON-AI's potential to substantially aid the manual ontology construction process. However, our results also underscore the importance of having expert curators and ontology editors drive the ontology generation process.

연구 동기 및 목표

• 생물의학 및 환경 과학과 같은 과학 분야에서 수작업 온톨로지 구축에 필요한 자원과 협업 비용을 줄이기 위해.
• 텍스트 및 논리적 구성 요소를 모두 자동화하는 인공지능 기반 방법을 개발하기 위해.
• 전문가 평가 및 벤치마킹을 통해 AI가 생성한 온톨로지 용어, 정의, 관계의 품질을 평가하기 위해.
• GitHub 이슈와 같은 자연어 지시어를 온톨로지 생성 워크플로우에 통합할 수 있는지 탐색하기 위해.
• 전문가 코디네이터가 AI가 생성한 온톨로지 콘텐츠를 검토하고 보완하는 데서 수행하는 역할을 평가하기 위해.

제안 방법

• DRAGON-AI는 대규모 언어 모델(LLM)에 프롬프트를 제공하기 전에 기존 온톨로지 및 비구조화된 텍스트 자료에서 관련 지식을 검색하기 위해 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 활용한다.
• 시스템은 생물의학 및 환경 온톨로지 포함 다양한 지식 자료에서 벡터 유사도와 키워드 기반 검색을 융합한 하이브리드 검색 전략을 사용한다.
• 기존 온톨로지 표준에서 예시를 활용한 소수의 프롬프트(few-shot prompting)를 통해 레이블, 정의, 축약적 관계와 같은 온톨로지 구성 요소를 생성한다.
• 자연어 지시어(예: GitHub 이슈)를 통해 동적 입력을 지원하여 버전 제어된 개발 워크플로우에 통합할 수 있다.
• 생성된 출력은 전문가 평가를 통해 검증되며, 경험 수준이 다른 도메인 전문가들 사이에서 신뢰도 수준이 평가된다.
• 프레임워크는 수동 평가를 통해 용어 품질과 논리 일관성 검토를 통해 OBO Foundry 및 EFO를 포함한 10개의 다양한 온톨로지에서 평가되었다.

실험 결과

연구 질문

• RQ1 DRAGON-AI는 논리 기반 추론 수준과 유사한 높은 정밀도로 온톨로지 관계를 생성할 수 있는가?
• RQ2 전문가 평가자들은 AI가 생성한 정의를 인간이 작성한 것과 비교해 얼마나 평가하는가?
• RQ3 GitHub 이슈와 같은 자연어 지시어가 온톨로지 생성을 효과적으로 이끌 수 있는 정도는 어느 정도인가?
• RQ4 평가자의 전문성 수준이 AI가 생성한 정의의 결함을 탐지하는 능력과 상관관계가 있는가?
• RQ5 DRAGON-AI는 구조화된 온톨로지와 비구조화된 텍스트 자료에서 지식을 효과적으로 검색하고 통합할 수 있는가?

주요 결과

• DRAGON-AI는 관계 생성에서 높은 정밀도를 달성하였지만, 논리 기반 추론 방법보다 略로 낮았다.
• 전문가 평가자들은 AI가 생성한 정의 중 60%를 수용 가능한 것으로 평가하였지만, 인간이 작성한 정의에 비해 품질 평가에서 유의미하게 낮았다.
• 가장 높은 도메인 전문성을 지닌 평가자가 AI가 생성한 정의의 결함를 가장 정확하게 식별하여 전문가 검증의 중요한 역할을 확인하였다.
• 시스템은 GitHub 이슈와 같은 자연어 지시어를 온톨로지 생성의 입력으로 성공적으로 통합하여 소프트웨어 개발 파이프라인에 통합할 수 있었다.
• OBO Foundry 및 EFO를 포함한 10개의 다양한 온톨로지에서 우수한 성능을 보이며 광범위한 적용 가능성을 입증하였다.
• 관계 생성에서 뛰어난 성능을 보였음에도 불구하고, 의미적 정확성과 일관성을 확보하기 위해 여전히 전문가 코디네이션의 과정이 필요하다.