[论文解读] Informed Named Entity Recognition Decoding for Generative Language Models

Tobias Deußer, Lars Hillebrand+2 more|arXiv (Cornell University)|Aug 15, 2023

Topic Modeling被引用 5

一句话总结

本文提出 iNERD，一种新颖的框架，将命名实体识别视为生成任务，利用大型语言模型并结合有信息的解码策略以防止幻觉并提升性能。通过在合并的 NER 语料库上进行粗调，并使用特殊标记强制结构化生成格式，iNERD 在零样本和开放词汇设置下实现了最先进性能，其适应性和鲁棒性优于传统的编码器-only 模型。

ABSTRACT

Ever-larger language models with ever-increasing capabilities are by now well-established text processing tools. Alas, information extraction tasks such as named entity recognition are still largely unaffected by this progress as they are primarily based on the previous generation of encoder-only transformer models. Here, we propose a simple yet effective approach, Informed Named Entity Recognition Decoding (iNERD), which treats named entity recognition as a generative process. It leverages the language understanding capabilities of recent generative models in a future-proof manner and employs an informed decoding scheme incorporating the restricted nature of information extraction into open-ended text generation, improving performance and eliminating any risk of hallucinations. We coarse-tune our model on a merged named entity corpus to strengthen its performance, evaluate five generative language models on eight named entity recognition datasets, and achieve remarkable results, especially in an environment with an unknown entity class set, demonstrating the adaptability of the approach.

研究动机与目标

• 弥合生成式语言模型与抽取式 NLP 任务（如命名实体识别 NER）之间的差距。
• 通过利用仅解码器 LLM 的语言理解能力，解决仅编码器模型在处理动态或未知实体类别时的局限性。
• 开发一种解码策略，通过将标记生成限制在有效实体结构内，防止幻觉。
• 在无需微调的情况下提升模型对新或未见实体类别的适应能力。

提出的方法

• 模型使用特殊标记以结构化格式生成文本：用 <CT> 标记实体的开始，用 <TCS> 分隔实体类型与内容，用 <ES> 分隔不同实体。
• 一种有信息的解码算法在生成过程中屏蔽非法标记，确保仅生成有效的实体跨度，从而消除幻觉。
• 模型在合并的命名实体语料库上进行粗调，以增强对 NER 任务的上下文感知能力。
• 该框架与任何仅解码器 LLM 兼容，使其具有未来可维护性，并能随着新模型的出现轻松升级。
• 该方法将 NER 视为序列生成问题，支持带强结构约束的端到端训练与推理。
• 解码过程强制采用固定输出模式，减少搜索空间并提高生成可靠性。

实验结果

研究问题

• RQ1 能否在不牺牲性能或引入幻觉的前提下，使用大型语言模型将命名实体识别有效重构为生成任务？
• RQ2 与标准自回归生成相比，带有结构约束的有信息解码在 NER 性能上有多大提升？
• RQ3 在合并的 NER 语料库上进行粗调，能在多大程度上提升生成式 LLM 在 NER 任务中零样本和少样本泛化能力？
• RQ4 与传统仅编码器模型相比，iNERD 框架在未知或开放词汇实体类别设置下的表现如何？
• RQ5 该方法能否在无需微调的情况下，保持在通用、生物医学和金融文本等多样化领域中的高性能？

主要发现

• iNERD 框架在八个基准 NER 数据集上实现了最先进性能，包括 CoNLL-2003、CoNLL++ 以及生物医学和金融数据集。
• 仅使用有信息解码，即可使基础模型在 CoNLL-2003 和 CoNLL++ 上的 F1 分数提升约 4%。
• 在合并 NER 语料库上进行粗调显著提升了性能，尤其在未知实体类别下的零样本和少样本设置中。
• 消融实验证实，粗调和有信息解码均不可或缺，当两者在无微调设置下同时被移除时，性能会降至接近零。
• 该模型在无需微调的情况下展现出对新实体类别的强适应能力，在动态或开放词汇场景下优于传统仅编码器模型。
• 该框架在多样化领域中保持高性能，表明其具备强大的鲁棒性和泛化能力。