[论文解读] GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer

Urchade Zaratiana, Nadi Tomeh+2 more|arXiv (Cornell University)|Nov 14, 2023

Topic Modeling被引用 6

一句话总结

GLiNER 是一种用于零样本命名实体识别（NER）的紧凑型双向变压器模型，其将实体识别视为共享潜在空间中实体类型嵌入与跨度表示之间的匹配任务。它在零样本 NER 基准测试中表现优于 ChatGPT 和微调过的大型语言模型（LLMs），同时支持快速、并行推理，适用于资源受限环境。

ABSTRACT

Named Entity Recognition (NER) is essential in various Natural Language Processing (NLP) applications. Traditional NER models are effective but limited to a set of predefined entity types. In contrast, Large Language Models (LLMs) can extract arbitrary entities through natural language instructions, offering greater flexibility. However, their size and cost, particularly for those accessed via APIs like ChatGPT, make them impractical in resource-limited scenarios. In this paper, we introduce a compact NER model trained to identify any type of entity. Leveraging a bidirectional transformer encoder, our model, GLiNER, facilitates parallel entity extraction, an advantage over the slow sequential token generation of LLMs. Through comprehensive testing, GLiNER demonstrate strong performance, outperforming both ChatGPT and fine-tuned LLMs in zero-shot evaluations on various NER benchmarks.

研究动机与目标

• 开发一种通用型 NER 模型，可在无需预定义标签的情况下识别任意实体类型。
• 克服自回归 LLM 的局限性，例如生成速度慢和计算成本高。
• 利用更小的双向变压器架构实现实现高效、并行的实体抽取。
• 在多样化领域和低资源语言上提升零样本性能。
• 通过负样本实体采样和实体类型丢弃等数据增强技术提升模型鲁棒性。

提出的方法

• GLiNER 使用双向变压器编码器（如 BERT 或 deBERTa）从统一的输入序列（包含实体类型提示和源文本）中生成上下文相关的词元表示。
• 该模型采用跨度表示模块，利用词元表示为输入文本中的所有可能跨度计算密集嵌入。
• 通过专用的实体表示模块将实体类型提示嵌入到共享潜在空间中。
• 通过点积运算后接 Sigmoid 激活函数，计算跨度表示与实体嵌入之间的匹配分数，以预测实体类型。
• 训练期间，以 50% 的比例采样负样本实体类型，以提升精确率并减少误报。
• 在训练中应用实体类型丢弃策略，即对每个输入随机掩码部分实体提示，从而增强模型对输入复杂度变化的鲁棒性。

Figure 1: BiLM for Open NER. Previous models, such as UniNER (Zhou et al., 2023 ) (Fig. a), approach the task of open type NER by prompting LLMs with natural language instructions (using a multi-turn dialogue style). Our proposed GLiNER utilizes small bidirectional LMs and treats the NER task as mat

实验结果

研究问题

• RQ1 基于双向变压器的紧凑型非自回归模型是否能在零样本 NER 中超越大型自回归 LLM？
• RQ2 将 NER 视为潜在空间中的匹配任务，是否能实现比自回归生成更快、更高效的并行推理？
• RQ3 负样本实体采样在开放词汇 NER 中如何影响精确率与召回率的平衡？
• RQ4 在未见语言上微调的模型，其在低资源语言上的泛化能力在多大程度上可被验证？
• RQ5 如实体类型丢弃等数据增强策略是否能提升零样本泛化能力和鲁棒性？

主要发现

• GLiNER 在多个数据集的零样本 NER 基准测试中，表现优于 ChatGPT 和微调过的 LLM，F1 分数更高。
• 当每个数据集的训练数据仅限 100 个样本时，模型性能提升 5.6%，表明其具备强大的 few-shot 泛化能力。
• 采用 50% 负样本实体采样时，模型在精确率（62.3%）与召回率（59.7%）之间达到最佳平衡，优于 0% 和 75% 的采样策略。
• 在 10 种未包含在训练数据中的低资源语言中，GLiNER 在 8 种语言上超越了 ChatGPT，展现出强大的零样本多语言泛化能力。
• 训练期间使用实体类型丢弃策略，使模型在分布外评估中的性能平均提升超过 1.4 F1 分数。
• 在 Pile-NER 数据集上进行预训练可显著提升性能，尤其在低数据场景下，表明从大规模、多样化数据中成功实现了正向迁移。

Figure 2: Model architecture . GLiNER employs a BiLM and takes as input entity type prompts and a sentence/text. Each entity is separated by a learned token [ENT] . The BiLM outputs representations for each token. Entity embeddings are passed into a FeedForward Network, while input word representati