[论文解读] LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking

Amy Xin, Yunjia Qi+6 more|arXiv (Cornell University)|Jul 4, 2024

Data Quality and Management被引用 4

一句话总结

LLMaEL 提出了一种即插即用的框架，通过使用大语言模型（LLMs）生成丰富、以提及为中心的上下文描述，从而增强实体链接性能。这些描述随后被输入到传统实体链接（EL）模型中，以提高准确性，尤其针对长尾实体。该方法在六个基准测试中均达到最先进性能，使用微调后的 LLM 时平均准确率提升 1.21%。

ABSTRACT

Specialized entity linking (EL) models are well-trained at mapping mentions to unique knowledge base (KB) entities according to a given context. However, specialized EL models struggle to disambiguate long-tail entities due to their limited training data. Meanwhile, extensively pre-trained large language models (LLMs) possess broader knowledge of uncommon entities. Yet, with a lack of specialized EL training, LLMs frequently fail to generate accurate KB entity names, limiting their standalone effectiveness in EL. With the observation that LLMs are more adept at context generation instead of EL execution, we introduce LLM-Augmented Entity Linking (LLMAEL), the first framework to enhance specialized EL models with LLM data augmentation. LLMAEL leverages off-the-shelf, tuning-free LLMs as context augmenters, generating entity descriptions to serve as additional input for specialized EL models. Experiments show that LLMAEL sets new state-of-the-art results across 6 widely adopted EL benchmarks: compared to prior methods that integrate tuning-free LLMs into EL, LLMAEL achieves an absolute 8.9% gain in EL accuracy. We release our code and datasets.

研究动机与目标

• 解决传统 EL 模型在长尾实体上表现不佳的问题，原因在于训练数据和知识有限。
• 克服 LLM 在直接生成实体 ID 时可能出现的幻觉问题。
• 开发一种成本效益高、即插即用的方法，利用 LLM 进行上下文增强，同时保持专用 EL 模型的精度。
• 探索 LLM 是否能更有效地用作上下文增强器，而非直接执行 EL 或作为重排序器。
• 发布代码、数据集和微调后的模型，以支持未来在 LLM 增强实体链接方向的研究。

提出的方法

• LLMaEL 使用 LLM 生成以提及为中心的描述作为附加上下文，丰富传统 EL 模型的输入。
• 该方法采用三阶段流水线：(1) 基于 LLM 的上下文增强，(2) 将增强后的上下文与原始输入融合，(3) 通过标准 EL 模型完成实体链接。
• LLM 被提示生成简洁、事实性描述，聚焦于提及内容，结合世界知识和上下文信息。
• EL 模型处理增强后的上下文以预测正确的实体 ID，通过将 ID 预测任务交由特定任务模型，降低幻觉风险。
• 可选增强包括上下文拼接和集成策略，以进一步提升性能。
• 仅对 LLM 组件进行微调以生成上下文，不微调 EL 模型，从而降低训练成本。

实验结果

研究问题

• RQ1 LLM 是否能通过生成丰富上下文（而不直接预测实体 ID）有效提升实体链接性能？
• RQ2 基于 LLM 的上下文增强是否能显著提升准确率，特别是对长尾实体？
• RQ3 将 LLM 用作上下文增强器是否比直接用于实体链接或作为重排序器更有效？
• RQ4 LLMaEL 在多样化实体链接基准上的性能与强基线相比如何？
• RQ5 无需微调 EL 模型或访问专有 LLM 权重，即插即用方法能否实现最先进结果？

主要发现

• 原始版本的 LLMaEL 在六个标准数据集中的五个上优于基线 EL 模型，证明了上下文增强的有效性。
• 微调后的 LLMaEL 在全部六个基准测试中均达到新的最先进水平，平均准确率提升 1.21%。
• 该方法显著提升了频率在 10⁻⁷ 到 10⁻⁶ 之间的长尾实体的性能，验证了其在稀有实体上的有效性。
• 基于 LLM 的重排序策略（如 Re-rank-100、Re-rank-10）在性能上均低于直接使用 LLM 执行和 LLMaEL，表明上下文增强比重排序更有效。
• 使用上下文拼接和集成技术可进一步提升性能，表明 LLMaEL 框架具有灵活性和可扩展性。
• LLMaEL 通过将实体 ID 预测任务委托给 EL 模型，避免了幻觉问题，同时仅利用 LLM 生成富含知识的上下文。