[论文解读] MapperGPT: Large Language Models for Linking and Mapping Entities

Nicolas Matentzoglu, J. Harry Caufield+7 more|arXiv (Cornell University)|Oct 5, 2023

Topic ModelingComputer Science被引用 3

一句话总结

MapperGPT 利用大型语言模型（LLMs）对基于词汇和结构启发式方法生成的低精度、高召回率实体映射进行优化，在解剖学、发育生物学和肾病等生物医学领域中的跨本体对齐任务中显著提升了准确性。与最先进的方法（如 LogMap）相比，它通过 LLM 驱动的实体语义和上下文推理减少了假阳性结果。

ABSTRACT

Aligning terminological resources, including ontologies, controlled vocabularies, taxonomies, and value sets is a critical part of data integration in many domains such as healthcare, chemistry, and biomedical research. Entity mapping is the process of determining correspondences between entities across these resources, such as gene identifiers, disease concepts, or chemical entity identifiers. Many tools have been developed to compute such mappings based on common structural features and lexical information such as labels and synonyms. Lexical approaches in particular often provide very high recall, but low precision, due to lexical ambiguity. As a consequence of this, mapping efforts often resort to a labor intensive manual mapping refinement through a human curator. Large Language Models (LLMs), such as the ones employed by ChatGPT, have generalizable abilities to perform a wide range of tasks, including question-answering and information extraction. Here we present MapperGPT, an approach that uses LLMs to review and refine mapping relationships as a post-processing step, in concert with existing high-recall methods that are based on lexical and structural heuristics. We evaluated MapperGPT on a series of alignment tasks from different domains, including anatomy, developmental biology, and renal diseases. We devised a collection of tasks that are designed to be particularly challenging for lexical methods. We show that when used in combination with high-recall methods, MapperGPT can provide a substantial improvement in accuracy, beating state-of-the-art (SOTA) methods such as LogMap.

研究动机与目标

• 解决生物医学数据集成中基于词汇和结构的高召回率实体映射方法存在的低精度问题。
• 通过使用 LLM 自动化映射优化，减少对手动整理的依赖。
• 提升在解剖学、发育生物学和肾病等多样化领域中的实体对齐准确性。
• 评估 LLM 在后处理基于启发式工具生成的映射时的有效性。

提出的方法

• MapperGPT 将 LLM 作为后处理步骤，集成于依赖词汇和结构特征的高召回率实体映射工具之后。
• 通过提供实体对、其标签、同义词和上下文元数据来提示 LLM，以判断它们是否代表真实对应关系。
• LLM 基于语义和上下文推理生成二元判断（匹配或不匹配），从而过滤掉假阳性结果。
• 该方法在多个领域特定的对齐任务中进行评估，使用人工整理的测试集来衡量精确率和 F1 分数。
• 采用零样本或少样本提示策略，使 LLM 适应领域特定的映射挑战，而无需微调。
• 该方法设计为模块化，可无缝集成到现有映射流水线中，而无需修改其核心逻辑。

实验结果

研究问题

• RQ1 LLM 是否能有效减少基于高召回率词汇和结构启发式方法在生物医学实体对齐中产生的假阳性映射？
• RQ2 在多样化生物医学领域中，LLM 驱动的优化与最先进的方法（如 LogMap）相比，在精确率和 F1 分数方面表现如何？
• RQ3 LLM 在无需微调的情况下，能在多大程度上泛化到不同的本体和术语系统？
• RQ4 上下文和语义线索在超越词汇相似性方面，对提升映射准确性起到了何种作用？
• RQ5 LLM 的集成如何影响大规模实体映射工作流的可扩展性和实用性？

主要发现

• 与基于词汇和结构的基线方法相比，MapperGPT 显著提升了映射的精确率，在所有评估领域中均实现了更高的 F1 分数。
• 与 LogMap 相比，MapperGPT 在具有挑战性的对齐任务中表现更优，特别是在涉及词汇歧义的任务中。
• 基于 LLM 的优化步骤有效减少了假阳性结果，同时保持了高召回率，显示出在多样化生物医学本体中的强大泛化能力。
• 即使采用零样本提示，该方法仍保持高性能，表明其在无需模型微调的情况下对领域变化具有鲁棒性。
• 将 LLM 集成到现有映射流水线中，可显著减少对手动整理的依赖，为劳动密集型优化流程提供了一种可扩展的替代方案。