[논문 리뷰] CurateGPT: A flexible language-model assisted biocuration tool

Harry Caufield, Carlo Kroll외 11명|arXiv (Cornell University)|2024. 10. 29.

Biomedical Text Mining and Ontologies인용 수 4

한 줄 요약

CurateGPT는 대규모 언어 모델(LLM) 기반 생물정보학적 큐레이션 도구로, 신뢰할 수 있는 지식 기반 및 문헌 자료와 통합된 생성형 AI를 통해 전문가 큐레이션을 향상시킵니다. 자동 추론, 온톨로지 검색, 외부 데이터 검색을 가능하게 하여 LLM의 학습 데이터를 초월한 근거에 기반한 연결을 통해 큐레이션 효율성과 추적 가능성을 크게 향상시킵니다.

ABSTRACT

Effective data-driven biomedical discovery requires data curation: a time-consuming process of finding, organizing, distilling, integrating, interpreting, annotating, and validating diverse information into a structured form suitable for databases and knowledge bases. Accurate and efficient curation of these digital assets is critical to ensuring that they are FAIR, trustworthy, and sustainable. Unfortunately, expert curators face significant time and resource constraints. The rapid pace of new information being published daily is exceeding their capacity for curation. Generative AI, exemplified by instruction-tuned large language models (LLMs), has opened up new possibilities for assisting human-driven curation. The design philosophy of agents combines the emerging abilities of generative AI with more precise methods. A curator's tasks can be aided by agents for performing reasoning, searching ontologies, and integrating knowledge across external sources, all efforts otherwise requiring extensive manual effort. Our LLM-driven annotation tool, CurateGPT, melds the power of generative AI together with trusted knowledge bases and literature sources. CurateGPT streamlines the curation process, enhancing collaboration and efficiency in common workflows. Compared to direct interaction with an LLM, CurateGPT's agents enable access to information beyond that in the LLM's training data and they provide direct links to the data supporting each claim. This helps curators, researchers, and engineers scale up curation efforts to keep pace with the ever-increasing volume of scientific data.

연구 동기 및 목표

• 생물의학 문헌의 증가하는 볼륨과 전문 큐레이터가 수동으로 큐레이션할 수 있는 능력 사이의 격차를 해소하기 위해.
• 생성형 AI를 활용해 추론, 온톨로지 검색, 외부 지식 통합을 자동화하여 데이터 큐레이션에 소요되는 시간과 노력을 줄이기 위해.
• FAIR(Findable, Accessible, Interoperable, Reusable)하고 신뢰할 수 있는 데이터를 확보하기 위해 추적 가능하고 근거에 기반한 주석을 제공하기 위해.
• AI 지원 에이전트를 통해 큐레이터, 연구자, 엔지니어 간의 협업을 간소화하여 큐레이션 워크플로우를 개선하기 위해.
• 직접 LLM과 상호작용할 경우의 한계를 극복하기 위해 모델의 정적 학습 분포를 초월한 최신 외부 데이터 소스에 액세스할 수 있도록 하기 위해.

제안 방법

• 지시 미세조정된 LLM과 외부 지식 검색을 결합한 모듈러한 에이전트 기반 시스템으로 CurateGPT를 설계 및 구현하기 위해.
• 추론, 생물정보학적 온톨로지(MONDO, HPO 등) 쿼리, 과학 문헌 및 데이터베이스에서의 근거 검색 기능을 수행할 수 있는 에이전트를 통합하기 위해.
• LLM의 출력을 모델의 학습 데이터를 초월한 실시간 최신 데이터 소스에 기반하게 하기 위해 검색 기반 생성(Retrieval-Augmented Generation, RAG) 기법을 사용하기 위해.
• 각 주석 주장이 소스 자료와 연결되도록 인용 추적 및 기원 로깅을 통합하여 투명성과 신뢰도를 향상시키기 위해.
• 버전 관리, 감사 기록, 지식 기반 및 데이터베이스와 호환되는 구조화된 출력 형식을 지원함으로써 협업 기반 큐레이션 워크플로우를 지원하기 위해.
• 기존 큐레이션 파이프라인 및 플랫폼에의 통합을 지원하기 위해 보안적이고 확장 가능한 환경에 시스템을 구축하기 위해.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 수동 생물정보학적 큐레이션에 소요되는 시간을 크게 줄일 수 있을까, 동시에 높은 정확도와 추적 가능성을 유지할 수 있을까?
• RQ2 LLM의 학습 데이터를 초월한 외부 지식 자료에 액세스함으로써 AI 에이전트가 큐레이션을 얼마나 향상시킬 수 있을까?
• RQ3 근거 추적 및 소스 연결 통합이 큐레이션된 데이터의 신뢰성과 재현 가능성에 어떻게 기여하는가?
• RQ4 에이전트 기반 큐레이션 도구는 생물정보학 지식 기반에서 대규모 협업 큐레이션을 효과적으로 지원할 수 있는가?
• RQ5 직접 LLM 프롬프팅과 비교했을 때, CurateGPT는 큐레이션 효율성, 정확도, 신뢰성 측면에서 어떻게 다를까?

주요 결과

• CurateGPT는 LLM의 정적 학습 데이터를 초월해 온톨로지 및 문헌과 같은 외부 자료에서 정보를 액세스하고 통합할 수 있도록 합니다.
• 시스템은 각 주장을 근거로 연결하는 직접적이고 추적 가능한 링크를 제공하여 주석의 투명성과 감사 가능성 향상에 기여합니다.
• 생성형 추론과 구조화된 지식 검색을 조합함으로써 복잡한 생물학적 정보를 추출하고 검증하는 데 수반되는 수동 작업을 줄입니다.
• 에이전트 기반 아키텍처는 다양한 생물학적 분야에서의 큐레이션 작업을 지원하는 모듈러하고 확장 가능한 워크플로우를 가능하게 합니다.
• 직접 LLM과 상호작용하는 것과 비교해, CurateGPT는 권위 있고 최신의 데이터 소스에 기반한 응답을 제공함으로써 신뢰성과 일관성을 향상시킵니다.
• 명확한 기원 정보와 구조화된 버전 관리 기능을 통해 협업을 향상시켜 지속 가능하고 FAIR 기반의 데이터 실천을 지원합니다.