[论文解读] Dynamic Retrieval Augmented Generation of Ontologies using Artificial Intelligence (DRAGON-AI)

Sabrina Toro, Anna V. Anagnostopoulos+28 more|arXiv (Cornell University)|Dec 18, 2023

Semantic Web and Ontologies被引用 6

一句话总结

DRAGON-AI 提出了一种动态的、检索增强生成框架，利用大语言模型（LLMs）和检索增强生成（RAG）技术，通过从多个结构化本体和非结构化文本源中检索知识，实现本体构建的自动化。该方法在关系生成方面实现了高精度，并生成了经人工评估认为可接受的定义，尽管其质量不及专家撰写的定义，但展示了在专家监督下加速本体开发的潜力。

ABSTRACT

Background: Ontologies are fundamental components of informatics infrastructure in domains such as biomedical, environmental, and food sciences, representing consensus knowledge in an accurate and computable form. However, their construction and maintenance demand substantial resources and necessitate substantial collaboration between domain experts, curators, and ontology experts. We present Dynamic Retrieval Augmented Generation of Ontologies using AI (DRAGON-AI), an ontology generation method employing Large Language Models (LLMs) and Retrieval Augmented Generation (RAG). DRAGON-AI can generate textual and logical ontology components, drawing from existing knowledge in multiple ontologies and unstructured text sources. Results: We assessed performance of DRAGON-AI on de novo term construction across ten diverse ontologies, making use of extensive manual evaluation of results. Our method has high precision for relationship generation, but has slightly lower precision than from logic-based reasoning. Our method is also able to generate definitions deemed acceptable by expert evaluators, but these scored worse than human-authored definitions. Notably, evaluators with the highest level of confidence in a domain were better able to discern flaws in AI-generated definitions. We also demonstrated the ability of DRAGON-AI to incorporate natural language instructions in the form of GitHub issues. Conclusions: These findings suggest DRAGON-AI's potential to substantially aid the manual ontology construction process. However, our results also underscore the importance of having expert curators and ontology editors drive the ontology generation process.

研究动机与目标

• 解决在生物医学和环境科学等科学领域中，手动构建本体所面临的高资源投入和协作需求问题。
• 开发一种由人工智能驱动的方法，自动化生成本体的文本和逻辑组件。
• 通过专家评估和基准测试，评估AI生成的本体术语、定义和关系的质量。
• 探索将自然语言指令（如 GitHub 问题）整合到本体生成工作流中的可能性。
• 评估专家策展人在验证和优化AI生成的本体内容中的作用。

提出的方法

• DRAGON-AI 采用检索增强生成（RAG）技术，在提示大语言模型（LLM）之前，从现有本体和非结构化文本源中检索相关知识。
• 该系统采用混合检索策略，结合向量相似性与基于关键词的搜索，覆盖包括生物医学和环境本体在内的多样化知识源。
• 通过使用现有本体标准中的示例进行 few-shot prompting，生成本体组件，如标签、定义和公理化关系。
• 该方法支持通过自然语言指令（如 GitHub 问题）进行动态输入，从而实现与版本控制开发工作流的集成。
• 生成的输出通过专家评估进行验证，不同经验水平的领域专家对置信度进行评估。
• 该框架在十个不同的本体上进行了评估，包括 OBO Foundry 和 EFO，通过人工评估术语质量和逻辑一致性。

实验结果

研究问题

• RQ1 DRAGON-AI 能否在关系生成方面实现与基于逻辑推理方法相当的高精度？
• RQ2 专家评估者对 AI 生成的定义质量评分如何，与人工撰写的定义相比如何？
• RQ3 自然语言指令（如 GitHub 问题）在多大程度上可有效用于引导本体生成？
• RQ4 评估者的专业水平是否与其识别 AI 生成定义缺陷的能力相关？
• RQ5 DRAGON-AI 是否能有效检索并整合来自结构化本体和非结构化文本源的知识？

主要发现

• DRAGON-AI 在关系生成方面实现了高精度，尽管略低于基于逻辑推理的方法。
• 专家评估者认为 60% 的 AI 生成定义可接受，但在质量评估中显著低于人工撰写的定义。
• 专业水平最高的评估者在识别 AI 生成定义缺陷方面最为准确，表明专家验证在质量控制中具有关键作用。
• 该系统成功将自然语言指令（如 GitHub 问题）作为本体生成的输入，实现了与软件开发流水线的集成。
• 该方法在十个不同的本体（包括 OBO Foundry 和 EFO）上表现出稳健性能，表明其具有广泛的适用性。
• 尽管在关系生成方面表现强劲，该方法仍需专家策展以确保语义准确性和一致性。