[论文解读] InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER

Liwen Wang, Rumei Li+5 more|arXiv (Cornell University)|Mar 8, 2022

Topic Modeling被引用 25

一句话总结

InstructionNER 将 NER 重新表述为一个序列到序列的生成任务，辅以特定任务指令和答案选项，以及两个辅助任务，以提升少样本 NER 性能。

ABSTRACT

Recently, prompt-based methods have achieved significant performance in few-shot learning scenarios by bridging the gap between language model pre-training and fine-tuning for downstream tasks. However, existing prompt templates are mostly designed for sentence-level tasks and are inappropriate for sequence labeling objectives. To address the above issue, we propose a multi-task instruction-based generative framework, named InstructionNER, for low-resource named entity recognition. Specifically, we reformulate the NER task as a generation problem, which enriches source sentences with task-specific instructions and answer options, then inferences the entities and types in natural language. We further propose two auxiliary tasks, including entity extraction and entity typing, which enable the model to capture more boundary information of entities and deepen the understanding of entity type semantics, respectively. Experimental results show that our method consistently outperforms other baselines on five datasets in few-shot settings.

研究动机与目标

• 通过指令微调生成，在预训练和微调之间桥接，激励并解决数据稀缺的 NER。
• 使用描述性指令和显式输出选项空间，将 NER 重新表述为 seq2seq 生成问题。
• 引入两项辅助任务——实体提取和实体类型标注，以提升边界感知与类型语义。
• 在多个 NER 基准上展示少样本情境中的有效性，并分析影响性能的因素。

提出的方法

• 将 NER 重新表述为自然语言生成任务，由 T5（seq2seq）解决，输入为：句子、一个指令，以及选项（实体类型）。
• 使用模板以自然语言输出实体及其类型；支持两种实体类型符号策略（自然语言 vs 合成符号）。
• 引入两项辅助任务：实体提取（提取实体范围）和实体类型标注（对给定实体出现进行类型标注）；与主任务联合训练。
• 使用解析过程将 T5 输出转换为标准 NER 三元组（l, r, t），通过将跨度与源句子匹配。
• 比较 InstructionNER 的变体（有/无 ET 和 EE），并分析指令微调和辅助任务的影响。
• 使用 F1 在若干数据集的少样本情境下进行评估，解码采用束搜索。

实验结果

研究问题

• RQ1 相较于先前的提示方法和生成方法，基于指令的生成框架是否能提升少样本 NER？
• RQ2 关注实体边界（提取）和类型语义（标注）的辅助任务在低资源 NER 中是否带来可衡量的提升？
• RQ3 标签表示的选择（自然语言 vs 合成符号）在低资源与高资源设置下对性能有何影响？

主要发现

方法	MIT Movie 10-shot	MIT Movie 20-shot	MIT Movie 50-shot	MIT Restaurant 10-shot	MIT Restaurant 20-shot	MIT Restaurant 50-shot	ATIS 10-shot	ATIS 20-shot	ATIS 50-shot
Baseline: Template	37.3	48.5	52.2	46.0	57.1	58.7	71.7	79.4	92.6
BARTNER	41.1	54.0	67.7	44.0	56.0	64.0	77.7	86.1	93.4
LightNER	41.7	57.8	73.1	48.5	58.0	62.0	76.3	85.3	92.8
InstructionNER	64.4 (±2.1)	70.0 (±0.3)	74.1 (±1.2)	58.7 (±1.2)	65.5 (±1.4)	71.2 (±1.1)	90.7 (±0.3)	93.0 (±0.4)	95.1 (±0.5)

• InstructionNER 在 MIT Movie、MIT Restaurant、ATIS 数据集的 10/20/50-shot 设置中持续优于基线。
• 辅助任务 ET 和 EE 在低资源情境下带来额外收益，其中 ET 提升类型准确性，EE 提升边界/跨度表现；组合 ET+EE 在某些情境下可能引入噪声。
• 使用指令和选项（InstructionNER）相对于 T5 原生（无指令）基线取得显著提升，尤其在少样本情境。
• 跨域迁移（CoNLL03 源到 MIT Restaurant 目标）中，InstructionNER 获得优越或具竞争力的相对于基线的提升。
• 标签语义分析表明，在少样本中，自然语言标签形式优于合成符号，而合成符号在更丰富的监督中可能有帮助。