[论文解读] Two Heads Are Better Than One: Integrating Knowledge from Knowledge Graphs and Large Language Models for Entity Alignment

Linyao Yang, Hongyang Chen+4 more|arXiv (Cornell University)|Jan 30, 2024

Data Quality and Management被引用 4

一句话总结

该论文提出LLMEA，一种新颖的实体对齐框架，通过融合知识图谱（KGs）的结构化知识与大型语言模型（LLMs）的语义知识，提升对齐准确率。通过结合基于嵌入的候选过滤与在虚拟等效实体上的迭代多选LLM推理，LLMEA在仅使用10%训练种子的低资源设置下，实现了最先进性能。

ABSTRACT

Entity alignment, which is a prerequisite for creating a more comprehensive Knowledge Graph (KG), involves pinpointing equivalent entities across disparate KGs. Contemporary methods for entity alignment have predominantly utilized knowledge embedding models to procure entity embeddings that encapsulate various similarities-structural, relational, and attributive. These embeddings are then integrated through attention-based information fusion mechanisms. Despite this progress, effectively harnessing multifaceted information remains challenging due to inherent heterogeneity. Moreover, while Large Language Models (LLMs) have exhibited exceptional performance across diverse downstream tasks by implicitly capturing entity semantics, this implicit knowledge has yet to be exploited for entity alignment. In this study, we propose a Large Language Model-enhanced Entity Alignment framework (LLMEA), integrating structural knowledge from KGs with semantic knowledge from LLMs to enhance entity alignment. Specifically, LLMEA identifies candidate alignments for a given entity by considering both embedding similarities between entities across KGs and edit distances to a virtual equivalent entity. It then engages an LLM iteratively, posing multiple multi-choice questions to draw upon the LLM's inference capability. The final prediction of the equivalent entity is derived from the LLM's output. Experiments conducted on three public datasets reveal that LLMEA surpasses leading baseline models. Additional ablation studies underscore the efficacy of our proposed framework.

研究动机与目标

• 为解决融合知识图谱与大型语言模型的异构知识以提升实体对齐性能的挑战。
• 利用LLM中隐含的语义知识，捕捉超越表面名称的实体相似性。
• 通过LLM从候选集中推断等效实体，减少对大规模对齐种子的依赖。
• 开发一种在低资源设置下具有鲁棒性且可适配多种现有实体对齐方法的框架。
• 探索在统一、迭代的预测流程中整合KG结构信息与LLM深层语义推理的方法。

提出的方法

• LLMEA采用关系感知图注意力网络，学习捕捉结构、名称和关系相似性的低维实体嵌入。
• 利用LLM的语义知识，为每个目标实体生成一个虚拟等效实体表示，作为语义锚点。
• 基于候选实体与虚拟等效实体的嵌入相似性及编辑距离进行过滤，提升候选集质量。
• 通过向LLM提出多轮多选问题进行最终对齐预测，利用其推理能力。
• 该框架设计为模块化，可与任何能够生成候选实体的现有实体对齐方法集成。
• 采用提示工程引导LLM输出结构化预测，但解析非格式化或模糊响应仍具挑战。

实验结果

研究问题

• RQ1 结合KG的结构知识与LLM的语义知识，能否显著提升实体对齐性能？
• RQ2 由LLM生成的虚拟等效实体在过滤和精炼候选对齐中的有效性如何？
• RQ3 LLM在仅使用极少训练种子的低资源设置下，能在多大程度上提升对齐准确率？
• RQ4 在利用LLM进行实体对齐时，主要挑战是什么，特别是输出格式与可靠性方面？
• RQ5 与单轮推理相比，迭代多选提示策略如何提升最终预测准确率？

主要发现

• LLMEA在所有三个公开数据集上均持续优于最先进基线方法，展现出更优的对齐准确率。
• 即使仅使用全部对齐种子的10%，模型仍实现高Hits@1性能，凸显其在低资源场景下的有效性。
• 消融实验证实，KG嵌入组件与基于LLM的推理组件均对最终性能有显著贡献。
• 该框架对训练种子数量变化具有鲁棒性，在其他方法因种子减少而性能急剧下降时，仍保持高性能。
• 将编辑距离与虚拟等效实体结合，可提升候选集质量，增加包含真实等效实体的可能性。
• 尽管解析非结构化LLM输出仍具挑战，但迭代多选提示策略通过聚焦高置信度选择，实现了准确的最终预测。