[论文解读] CurateGPT: A flexible language-model assisted biocuration tool

Harry Caufield, Carlo Kroll+11 more|arXiv (Cornell University)|Oct 29, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

CurateGPT 是一款基于大型语言模型（LLM）的生物信息学注释工具，通过整合生成式人工智能与可信知识库及文献资源，提升专家注释的效率。该工具支持自动化推理、本体搜索及外部数据检索，显著提高了注释效率与可追溯性，将各类声明与 LLM 训练数据之外的支持性证据相连接。

ABSTRACT

Effective data-driven biomedical discovery requires data curation: a time-consuming process of finding, organizing, distilling, integrating, interpreting, annotating, and validating diverse information into a structured form suitable for databases and knowledge bases. Accurate and efficient curation of these digital assets is critical to ensuring that they are FAIR, trustworthy, and sustainable. Unfortunately, expert curators face significant time and resource constraints. The rapid pace of new information being published daily is exceeding their capacity for curation. Generative AI, exemplified by instruction-tuned large language models (LLMs), has opened up new possibilities for assisting human-driven curation. The design philosophy of agents combines the emerging abilities of generative AI with more precise methods. A curator's tasks can be aided by agents for performing reasoning, searching ontologies, and integrating knowledge across external sources, all efforts otherwise requiring extensive manual effort. Our LLM-driven annotation tool, CurateGPT, melds the power of generative AI together with trusted knowledge bases and literature sources. CurateGPT streamlines the curation process, enhancing collaboration and efficiency in common workflows. Compared to direct interaction with an LLM, CurateGPT's agents enable access to information beyond that in the LLM's training data and they provide direct links to the data supporting each claim. This helps curators, researchers, and engineers scale up curation efforts to keep pace with the ever-increasing volume of scientific data.

研究动机与目标

• 解决生物医学文献数量增长与专家注释员手动注释能力之间的日益扩大的差距。
• 通过利用生成式人工智能自动化推理、本体查找及外部知识整合，减少数据注释所需的时间与精力。
• 通过提供可追溯、基于证据的注释，确保数据符合 FAIR（可发现、可访问、可互操作、可重用）且可信。
• 通过 AI 辅助代理简化注释工作流，提升注释员、研究人员与工程师之间的协作效率。
• 克服直接与 LLM 交互的局限性，通过访问超越模型静态训练分布的最新外部数据源。

提出的方法

• 设计并实现 CurateGPT 为模块化代理架构系统，结合指令微调的 LLM 与外部知识检索。
• 集成具备推理能力、查询生物医学本体（如 MONDO、HPO）以及从科学文献与数据库中检索证据的代理。
• 采用检索增强生成（RAG）技术，将 LLM 输出基于实时、最新的外部数据源，超越模型的训练数据范围。
• 嵌入引用追踪与来源日志功能，确保每条注释声明均与原始资料关联，提升透明度与可信度。
• 通过支持版本控制、审计追踪及与知识库和数据库兼容的结构化输出格式，支持协作式注释工作流。
• 在安全、可扩展的环境中部署系统，以支持与现有注释工作流及平台的集成。

实验结果

研究问题

• RQ1 LLM 驱动的代理是否能显著减少手动生物信息学注释所需时间，同时保持高准确率与可追溯性？
• RQ2 AI 代理在访问超越 LLM 训练数据范围的外部知识源方面，能在多大程度上提升注释质量？
• RQ3 整合证据追踪与来源链接如何提升注释数据的可信度与可重复性？
• RQ4 基于代理的注释工具是否能有效扩展，以支持大规模、协作式的生物医学知识库注释？
• RQ5 与直接使用 LLM 提示相比，CurateGPT 在注释效率、准确率与可靠性方面表现如何？

主要发现

• CurateGPT 使注释员能够访问并整合来自外部资源（如本体与文献）的信息，突破 LLM 静态训练数据的限制。
• 该系统为每条声明提供直接、可追溯的证据链接，显著提升注释注释的透明度与可审计性。
• 通过结合生成式推理与结构化知识检索，CurateGPT 减少了在提炼与验证复杂生物信息方面的手动工作量。
• 代理式架构支持模块化、可扩展的工作流，适用于不同生物领域内的多样化注释任务。
• 与直接 LLM 交互相比，CurateGPT 通过将响应建立在权威且最新的数据源之上，提升了结果的可靠性与一致性。
• 该工具通过支持结构化、版本化的注释及清晰的来源信息，增强了协作能力，促进可持续的 FAIR 数据实践。