[论文解读] Agent-OM: Leveraging LLM Agents for Ontology Matching

Zhangcheng Qiang, Weiqing Wang+1 more|arXiv (Cornell University)|Dec 1, 2023

Semantic Web and Ontologies被引用 4

一句话总结

本文提出 Agent-OM，一种基于大语言模型（LLM）的新型本体匹配框架，采用两个孪生代理（Siamese agents）并结合基于提示的工具，以增强检索与匹配能力。该框架在无需微调的情况下，在复杂及少样本本体匹配任务中实现了最先进（SOTA）性能，其优势源于思维链推理（chain-of-thought reasoning）、检索增强生成（retrieval-augmented generation）以及上下文学习（in-context learning）。

ABSTRACT

Ontology matching (OM) enables semantic interoperability between different ontologies and resolves their conceptual heterogeneity by aligning related entities. OM systems currently have two prevailing design paradigms: conventional knowledge-based expert systems and newer machine learning-based predictive systems. While large language models (LLMs) and LLM agents have revolutionised data engineering and have been applied creatively in many domains, their potential for OM remains underexplored. This study introduces a novel agent-powered LLM-based design paradigm for OM systems. With consideration of several specific challenges in leveraging LLM agents for OM, we propose a generic framework, namely Agent-OM (Agent for Ontology Matching), consisting of two Siamese agents for retrieval and matching, with a set of OM tools. Our framework is implemented in a proof-of-concept system. Evaluations of three Ontology Alignment Evaluation Initiative (OAEI) tracks over state-of-the-art OM systems show that our system can achieve results very close to the long-standing best performance on simple OM tasks and can significantly improve the performance on complex and few-shot OM tasks.

研究动机与目标

• 为解决大语言模型（LLM）及其代理在本体匹配（OM）任务中应用不足的问题，本任务是语义互操作性的关键环节。
• 通过利用预训练的大语言模型，克服现有本体匹配系统对专家知识或大规模标注数据集的依赖等局限。
• 设计一种可扩展、无需代码、以自然语言驱动的框架，实现无需模型微调的少样本与复杂本体匹配任务。
• 探索具备规划、记忆与工具使用能力的大语言模型代理，是否能超越标准基于提示的 LLM 推理，在本体匹配性能上实现突破。
• 在多样化的 OAEI 赛道上评估该框架，并在复杂与低资源场景中展示其优越性。

提出的方法

• 设计一种双代理架构，包含两个孪生大语言模型代理，分别专用于检索与匹配任务。
• 采用思维链（CoT）提示技术，将复杂的本体匹配任务分解为逻辑推理步骤。
• 整合检索增强生成（RAG）与上下文学习（ICL），以增强事实依据性并减少幻觉现象。
• 开发一组基于提示的工具，用于实体检索、语义匹配与记忆存储，以支持工具增强型推理。
• 采用通用且可复用的提示工程流水线，避免模型微调，支持动态、实时的知识注入。
• 将该框架实现为概念验证系统，并在三个 OAEI 赛道上，使用标准本体匹配基准进行评估。

实验结果

研究问题

• RQ1 基于大语言模型的代理是否能在复杂及少样本本体匹配任务中超越传统基于知识与机器学习的本体匹配系统？
• RQ2 思维链推理与检索增强生成在缓解大语言模型在本体匹配过程中产生幻觉方面有多有效？
• RQ3 无需微调或领域特定数据的情况下，无代码、基于提示的框架能在多大程度上实现高性能？
• RQ4 与单代理大语言模型方法相比，双代理（孪生）设计在提升检索与匹配准确率方面有何优势？
• RQ5 上下文学习与工具使用在提升基于大语言模型的本体匹配系统可扩展性与可复用性方面起到何种作用？

主要发现

• 在简单本体匹配任务上，Agent-OM 的性能非常接近现有长期运行的最先进本体匹配系统，展现出强大的基线能力。
• 在复杂与少样本本体匹配任务中，Agent-OM 显著优于现有最先进系统，表明其具备出色的泛化能力与推理能力。
• 该框架在无需模型微调的情况下实现高性能，其核心依赖于提示工程、思维链（CoT）与检索增强生成（RAG）以实现上下文事实锚定。
• 采用具有专门检索与匹配角色的孪生代理，相比单体大语言模型方法，显著提升了准确率与任务分解能力。
• 该系统展现出高度的可复用性与可扩展性，能有效应对仅提供少量种子映射的低资源场景。
• RAG 与上下文学习能有效减少幻觉并提升事实一致性，尽管并未完全消除。