[论文解读] LightNER: A Lightweight Generative Framework with Prompt-guided Attention for Low-resource NER

Xiang Chen, Ningyu Zhang+7 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling参考文献 63被引用 26

一句话总结

LightNER 通过利用提示引导注意力和语义感知答案空间构建，提出了一种轻量级生成式框架，用于低资源命名实体识别，实现了在极少超参数调优情况下的高性能。通过固定预训练模型权重并仅微调连续提示，该方法在低资源设置下取得了最先进性能。

ABSTRACT

Most existing NER methods rely on extensive labeled data for model training, which struggles in the low-resource scenarios with limited training data. Recently, prompt-tuning methods for pre-trained language models have achieved remarkable performance in few-shot learning by exploiting prompts as task guidance to reduce the gap between training progress and downstream tuning. Inspired by prompt learning, we propose a novel lightweight generative framework with prompt-guided attention for low-resource NER (LightNER). Specifically, we construct the semantic-aware answer space of entity categories for prompt learning to generate the entity span sequence and entity categories without any label-specific classifiers. We further propose prompt-guided attention by incorporating continuous prompts into the self-attention layer to re-modulate the attention and adapt pre-trained weights. Note that we only tune those continuous prompts with the whole parameter of the pre-trained language model fixed, thus, making our approach lightweight and flexible for low-resource scenarios and can better transfer knowledge across domains. Experimental results show that LightNER can obtain comparable performance in the standard supervised setting and outperform strong baselines in low-resource settings by tuning only a small part of the parameters.

研究动机与目标

• 解决标注数据稀缺的低资源命名实体识别（NER）挑战。
• 通过在预训练语言模型中引入提示微调，减少对大规模标注数据集的依赖。
• 设计一种轻量级框架，仅微调少量参数，同时保持高性能。
• 通过连续提示重新调节注意力，提升零样本和 few-shot 在不同领域的迁移能力。

提出的方法

• 构建语义感知的实体类别答案空间，以指导生成解码过程，无需特定标签的分类器。
• 通过将连续提示注入自注意力机制，引入提示引导注意力，以重新调节注意力权重。
• 固定所有预训练模型参数，仅微调连续提示，确保模型效率和参数轻量化。
• 利用提示学习弥合预训练与下游微调之间的差距，提升低资源场景下的知识迁移能力。
• 通过提示引导的端到端序列到序列生成框架，联合生成实体跨度及其对应类别。
• 在保留预训练模型归纳偏差的同时，通过基于提示的注意力自适应，适配下游 NER 任务。

实验结果

研究问题

• RQ1 轻量级生成式框架是否能在极少参数更新的情况下，在低资源 NER 中实现有竞争力的性能？
• RQ2 提示引导注意力在不微调基础模型的前提下，是否能有效提升注意力表征能力？
• RQ3 语义感知答案空间构建在多大程度上能提升 NER 中的 few-shot 泛化能力？
• RQ4 在低资源设置下，固定预训练权重的提示微调是否能实现更好的跨领域迁移？
• RQ5 LightNER 在标准和低资源 NER 基准测试中与强基线模型相比表现如何？

主要发现

• 在全量数据设置下，LightNER 的性能与标准监督方法相当，展现出强大的泛化能力。
• 在低资源设置下，LightNER 超过强基线模型，证实其在 few-shot 场景下的有效性。
• 通过仅微调少量连续提示并保持预训练模型冻结，模型维持了高性能。
• 提示引导注意力改善了注意力表征，提升了实体识别准确率，尤其在数据稀缺情况下表现更优。
• 语义感知答案空间实现了无需任务特定分类器的准确且连贯的实体跨度与标签生成。
• 由于参数高效且基于提示的自适应机制，该框架在不同领域间表现出强大的迁移能力。