[论文解读] Enhancing Few-shot NER with Prompt Ordering based Data Augmentation

Hui‐Ming Wang, Liying Cheng+3 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种基于提示排序的数据增强方法（PODA），这是一种新颖的少样本命名实体识别（NER）数据增强方法，适用于自回归生成模型。通过基于提示的指令生成多样化且合理的实体排序，并将每种排序与唯一的输入序列配对，PODA 在不修改主干模型的前提下，避免了一对多映射问题，同时提升了模型在平面和嵌套NER基准上的泛化能力与性能。

ABSTRACT

Recently, data augmentation (DA) methods have been proven to be effective for pre-trained language models (PLMs) in low-resource settings, including few-shot named entity recognition (NER). However, conventional NER DA methods are mostly aimed at sequence labeling models, i.e., token-level classification, and few are compatible with unified autoregressive generation frameworks, which can handle a wider range of NER tasks, such as nested NER. Furthermore, these generation frameworks have a strong assumption that the entities will appear in the target sequence with the same left-to-right order as the source sequence. In this paper, we claim that there is no need to keep this strict order, and more diversified but reasonable target entity sequences can be provided during the training stage as a novel DA method. Nevertheless, a naive mixture of augmented data can confuse the model since one source sequence will then be paired with different target sequences. Therefore, we propose a simple but effective Prompt Ordering based Data Augmentation (PODA) method to improve the training of unified autoregressive generation frameworks under few-shot NER scenarios. Experimental results on three public NER datasets and further analyses demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决自回归生成模型在少样本NER中的局限性，即假设输出中实体顺序严格从左到右。
• 开发一种与统一生成框架兼容的数据增强方法，尤其适用于嵌套和复杂NER任务。
• 解决数据增强中的一对多映射问题，即单个输入可能对应多个有效输出。
• 在仅使用少量标注数据的低资源设置下，提升模型的泛化能力和性能。
• 在不修改模型架构的前提下，实现对T5和BART-NER等生成式预训练语言模型的有效训练。

提出的方法

• 通过生成所有可能的实体类型排列作为基于提示的排序指令，构建增强的训练样本。
• 将每个唯一的排序指令与输入句子拼接，形成新的源序列，从而与重新排序的目标序列建立一一对应关系。
• 使用这些配对序列进行自回归模型训练，训练过程中不强制要求从左到右的实体顺序。
• 在推理阶段应用相同的提示指令（'从左到右'），以保持与标准评估的一致性。
• 通过确保每个训练样本的源序列仅映射到一个目标序列，避免了多模态问题。
• 利用NER对顺序不敏感的特性，生成语义上有效且多样化的目标序列，同时保留实体提及和类型信息。

实验结果

研究问题

• RQ1 能否将专为序列标注模型设计的数据增强方法有效适配到统一的自回归生成框架中用于NER？
• RQ2 在自回归NER中放宽严格从左到右的实体顺序假设，是否能提升少样本设置下的模型性能？
• RQ3 基于提示的排序指令能否解决生成式NER模型数据增强中的一对多映射问题？
• RQ4 生成的排列数量如何影响少样本NER中模型的性能与泛化能力？
• RQ5 所提出的方法能否在不同生成式主干模型（如T5和BART-NER）上实现良好泛化？

主要发现

• PODA在CoNLL-2003、ACE-2005和MIT-Movie数据集上，在10-shot、20-shot和50-shot设置下均显著提升了F1分数，证明了其在少样本NER中的持续增益。
• 在50-shot设置下，PODA在ACE-2005数据集上相较纯T5模型实现了6.07个百分点的F1提升，表明在低资源场景下具有显著的性能增益。
• 使用所有实体类型的排列比仅使用一种或少数几种排列表现更优，图2显示随着排列数量的增加，性能提升更加明显。
• PODA同时提升了T5和Flan-T5的性能，尽管在Flan-T5上的提升相对较小，可能是因为增强数据与指令微调数据之间存在分布差异。
• 该方法在其他生成模型（如BART-NER）上也表现出良好的泛化能力，即使基础模型在低资源设置下的表现不如T5，仍能提升性能。
• 消融实验确认，基于提示的指令机制成功避免了一对多映射问题，实现了稳定且有效的训练。