[论文解读] Conversational Ontology Alignment with ChatGPT

Sanaz Saki Norouzi, Mohammad Saeid Mahdavinejad+1 more|arXiv (Cornell University)|Aug 18, 2023

Natural Language Processing Techniques被引用 6

一句话总结

本文评估了使用结构化提示（将本体三元组格式化为 Relation(Subject, Object) 形式）的 ChatGPT 在零样本本体对齐中的表现。尽管平均召回率较高（0.69），但 ChatGPT 的精确率较低（平均 0.46），表明其生成了大量假阳性结果。尽管如此，该模型在识别候选映射以及建议扩展新实体方面仍显示出潜力。

ABSTRACT

This study evaluates the applicability and efficiency of ChatGPT for ontology alignment using a naive approach. ChatGPT's output is compared to the results of the Ontology Alignment Evaluation Initiative 2022 campaign using conference track ontologies. This comparison is intended to provide insights into the capabilities of a conversational large language model when used in a naive way for ontology matching, and to investigate the potential advantages and disadvantages of this approach.

研究动机与目标

• 评估在不进行微调或少量 shot 示例的情况下，使用 ChatGPT 进行本体对齐的可行性。
• 研究不同的提示工程策略对对齐质量的影响。
• 将 ChatGPT 的零样本输出与 OAEI 2022 会议 track 的参考对齐结果进行比较。
• 识别使用对话式大语言模型进行本体集成中的语义匹配时的优势与局限性。

提出的方法

• 将 OAEI 2022 会议 track 中本体的三元组格式化为结构化关系，例如：Is-a (track, conference_part)。
• 提示采用固定模板设计：问题定义、本体1的三元组、本体2的三元组，以及目标——映射语义相似的实体。
• 测试了多种提示变体，最终采用格式化文本的方法以提升模型理解能力。
• 为应对 token 限制，将长提示拆分为较小的段落，并在交互中保持上下文连贯性。
• 仅包含可表示为三元组的公理，以避免高级本体构造带来的复杂性。
• 通过与 OAEI 2022 参考对齐（ra1-M3）对比，使用精确率、召回率和 F1 分数评估性能。

实验结果

研究问题

• RQ1 像 ChatGPT 这类未经微调、提示方式简单的零样本大语言模型，能否在本体对齐任务中达到与成熟系统相当的性能？
• RQ2 不同的提示格式策略如何影响生成对齐的质量？
• RQ3 ChatGPT 在本体匹配中的主要失败模式是什么，例如假阳性或错误的子类映射？
• RQ4 在无显式训练或示例的情况下，ChatGPT 能在多大程度上识别语义对应关系？
• RQ5 ChatGPT 是否能生成原始本体中不存在的、合理的新型实体或映射？

主要发现

• ChatGPT 在 21 对本体上的平均 F1 分数为 0.52，表明整体对齐质量中等。
• 该模型表现出较高的召回率（平均 0.69），意味着成功识别了较大比例的真实对齐。
• 精确率保持在较低水平（平均 0.46），表明生成的映射中假阳性比例较高。
• 提示 7（采用结构化格式并精心管理上下文）在 cmt-conference 对上取得了最佳结果，F1 分数达 0.62。
• ChatGPT 频繁生成不确定或推测性的匹配，包括输入本体中不存在的新实体。
• token 长度限制显著制约了模型处理完整本体的能力，因此必须对提示进行分割。