[论文解读] LightNER: A Lightweight Tuning Paradigm for Low-resource NER via Pluggable Prompting

Xiang Chen, Lei Li+7 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling被引用 39

一句话总结

LightNER 将 NER 重构为生成任务，提供统一的口语化描述器并引入可插拔引导模块，以实现轻量级、跨领域和跨任务迁移，而不更新 PLM 参数。

ABSTRACT

Most NER methods rely on extensive labeled data for model training, which struggles in the low-resource scenarios with limited training data. Existing dominant approaches usually suffer from the challenge that the target domain has different label sets compared with a resource-rich source domain, which can be concluded as class transfer and domain transfer. In this paper, we propose a lightweight tuning paradigm for low-resource NER via pluggable prompting (LightNER). Specifically, we construct the unified learnable verbalizer of entity categories to generate the entity span sequence and entity categories without any label-specific classifiers, thus addressing the class transfer issue. We further propose a pluggable guidance module by incorporating learnable parameters into the self-attention layer as guidance, which can re-modulate the attention and adapt pre-trained weights. Note that we only tune those inserted module with the whole parameter of the pre-trained language model fixed, thus, making our approach lightweight and flexible for low-resource scenarios and can better transfer knowledge across domains. Experimental results show that LightNER can obtain comparable performance in the standard supervised setting and outperform strong baselines in low-resource settings. Code is in https://github.com/zjunlp/DeepKE/tree/main/example/ner/few-shot.

研究动机与目标

• 在标注数据稀缺且不同领域的标签集差异较大（类别迁移）的低资源环境中，推动稳健的 NER。
• 提出一种将 NER 的生成框架与统一的 verbalizer 相结合，以在不使用特定标签分类器的情况下处理变化的实体类别。
• 引入一个可插拔的引导模块，在保持预训练语言模型固定的同时，调制注意力以实现跨领域知识迁移。
• 证明 LightNER 在资源丰富的设定中与强基线具有竞争力，在跨越多个数据集的低资源场景中获得卓越的结果。

提出的方法

• 将 NER 从序列标注转换为生成框架，使用统一的可学习 verbalizer 将实体类别映射到描述性词语。
• 使用带指针机制的序列到序列模型从输入 X 生成实体跨度和类别。
• 构建一个统一的 verbalizer，将每种实体类型映射到一组标签词，并学习将它们组合成 p_tag 的权重。
• 通过在自注意力层中插入可训练参数来融入可插拔的引导模块，从而重新调节注意力，同时保持 PLM 固定。
• 通过仅训练可插拔引导和 verbalizer 权重(beta)，并让主干语言模型保持冻结，应用一种轻量级微调策略。
• 通过解耦的类别迁移和领域知识引导，实现跨域迁移和跨任务的适应性。

实验结果

研究问题

• RQ1 在不改变模型结构的情况下，统一的 verbalizer 是否能够在低资源 NER 中实现类别迁移？
• RQ2 在冻结的 PLM 之上，可插拔引导模块是否能够有效支持 NER 的跨领域与跨任务知识迁移？
• RQ3 与基线相比，LightNER 在标准有监督和低资源跨域设置中的表现如何？
• RQ4 在生成式 NER 框架中以极少的可训练参数实现跨领域和跨任务的知识迁移是否可行？

主要发现

• LightNER 在标准有监督设置下与强基线相比具备竞争力。
• 在低资源、跨域设置中，LightNER 始终优于包括 LC-BERT、基于模板的 BART 和 BERT-MRC 等在内的若干基线。
• 消融结果表明，可插拔引导模块显著提升跨域效果，而统一的 verbalizer 处理类别迁移。
• 全参数微调收益有限且降低跨域迁移能力，凸显了轻量级、可插拔方法的重要性。
• 混合引导提示下的零样本跨域结果表明，与其他方法相比具有显著的迁移能力。