[论文解读] LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition

Junjie Ye, Nuo Xu+5 more|arXiv (Cornell University)|Feb 22, 2024

Topic Modeling被引用 11

一句话总结

LLM-DA 利用大型语言模型为少样本命名实体识别生成高质量的上下文级和实体级增强数据，在多个数据集上提升模型性能。

ABSTRACT

Despite the impressive capabilities of large language models (LLMs), their performance on information extraction tasks is still not entirely satisfactory. However, their remarkable rewriting capabilities and extensive world knowledge offer valuable insights to improve these tasks. In this paper, we propose $LLM-DA$, a novel data augmentation technique based on LLMs for the few-shot NER task. To overcome the limitations of existing data augmentation methods that compromise semantic integrity and address the uncertainty inherent in LLM-generated text, we leverage the distinctive characteristics of the NER task by augmenting the original data at both the contextual and entity levels. Our approach involves employing 14 contextual rewriting strategies, designing entity replacements of the same type, and incorporating noise injection to enhance robustness. Extensive experiments demonstrate the effectiveness of our approach in enhancing NER model performance with limited data. Furthermore, additional analyses provide further evidence supporting the assertion that the quality of the data we generate surpasses that of other existing methods.

研究动机与目标

• 在有标签数据稀缺时，推动NER性能的提升。
• 解决现有增强方法中的语义和句法完整性问题。
• 利用LLM重写和世界知识来多样化和丰富训练数据。
• 平衡上下文级和实体级增强，以最大化对NER的有效性。

提出的方法

• 使用跨越句子长度、词汇、从句和风格的14种上下文级重写策略，在保持原始实体不变的情况下生成多样化句子。
• 利用LLM的世界知识将实体替换为同类其他实体，以扩展超出训练数据的多样性。
• 以两阶段过程结合上下文级和实体级增强（先上下文再实体级），并偶尔注入噪声（拼写错误）。
• 筛选增强数据，保留保留给定实体的句子，并用原始实体类型对其进行标注。
• 在增强数据上训练NER模型（BERT-base-cased 和 RoBERTa-base），使用AdamW，学习率为3e-5，批次大小8，20个epoch，并采用早停。

实验结果

研究问题

• RQ1 基于LLM的数据增强是否能提升跨多个数据集的少样本NER？
• RQ2 上下文级、实体级和组合增强在效果上有何区别？
• RQ3 添加噪声和增强顺序对模型鲁棒性和性能有何影响？
• RQ4 LLM-DA 与现有增强方法（LSMS、DAGA、MELM）及ChatGPT的零样本/少样本性能相比如何？
• RQ5 LLM-DA 生成样本的数据质量（信息量、可读性、语法性）如何？

主要发现

• LLM-DA 在 CoNLL’03、OntoNotes 5.0、MIT-Movie 和 FEW-NERD 上的一致性地优于基线，提升少样本NER性能。
• 在 CoNLL’03 上，LLM-DA 在某些设置下实现至少30个百分点的提升。
• 上下文级增强在较小数据集上带来更大收益，而实体级增强在数据集规模增大时更有益。
• 双层增强在某些情景下通常能获得最佳结果，但过度的基于上下文的变动在较大数据集上可能降低性能。
• LLM-DA 数据表现出比竞争性增强方法更高的语言质量（信息性、可读性、语法）。
• 与ChatGPT相比，在小数据条件下，LLM-DA在四个数据集上始终超越零-shot/少样本ChatGPT。