[论文解读] FactMix: Using a Few Labeled In-domain Examples to Generalize to Cross-domain Named Entity Recognition

Linyi Yang, Lifan Yuan+3 more|arXiv (Cornell University)|Aug 24, 2022

Topic Modeling被引用 9

一句话总结

FactMix 提出了一种模型无关的两步数据增强方法，通过从少量标注的领域内实例中生成上下文级和实体级的半事实示例，显著提升了少样本跨领域命名实体识别（NER）的性能。该方法在领域内和领域外 NER 基准测试中均表现优异，优于最先进的方法，包括提示微调（prompt-tuning）和先前的数据增强技术。

ABSTRACT

Few-shot Named Entity Recognition (NER) is imperative for entity tagging in limited resource domains and thus received proper attention in recent years. Existing approaches for few-shot NER are evaluated mainly under in-domain settings. In contrast, little is known about how these inherently faithful models perform in cross-domain NER using a few labeled in-domain examples. This paper proposes a two-step rationale-centric data augmentation method to improve the model's generalization ability. Results on several datasets show that our model-agnostic method significantly improves the performance of cross-domain NER tasks compared to previous state-of-the-art methods, including the data augmentation and prompt-tuning methods. Our codes are available at https://github.com/lifan-yuan/FactMix.

研究动机与目标

• 为解决在少样本命名实体识别（NER）中，将模型迁移到领域外设置时泛化能力差的挑战。
• 缓解非实体标记与实体标签之间的虚假相关性，该相关性会阻碍跨领域迁移。
• 开发一种数据增强方法，仅使用少量标注的领域内样本即可提升模型泛化能力。
• 构建一种模型无关的框架，适用于微调和提示微调两种设置。
• 通过利用半事实数据中的对比示例，增强对标签依赖关系的因果理解。

提出的方法

• FactMix 通过掩码非实体标记并用掩码语言模型的预测结果替换，生成上下文级的半事实示例。
• 通过将实体提及替换为同类型其他实体，同时保持上下文结构不变，生成实体级的半事实示例。
• 该方法在两步对比学习框架中结合两种类型的增强示例，以提升模型鲁棒性。
• 该方法模型无关，可应用于微调和提示微调设置。
• 通过同义词替换和掩码语言建模生成多样化且语义合理的训练实例。
• 增强过程旨在通过在上下文和实体内容中引入受控变化，降低对虚假标记-标签相关性的依赖。

实验结果

研究问题

• RQ1 能否利用少量标注的领域内样本提升跨领域 NER 的泛化能力？
• RQ2 使用半事实示例进行对比学习如何影响模型在不同领域间的泛化能力？
• RQ3 上下文级和实体级的数据增强是否能减少 NER 模型中的虚假相关性？
• RQ4 在低资源跨领域设置下，FactMix 与提示微调及先前数据增强方法相比表现如何？
• RQ5 FactMix 的最优训练样本数量和增强比例是多少，可使性能最大化？

主要发现

• 在 CoNLL2003 测试集上，FactMix 在 5-shot 提示微调设置下达到最高的 88.51 的 Micro F1 分数，优于 EntLM 和其他基线方法。
• 在低重叠的 Science 数据集上，FactMix 达到 18.62 的 F1 分数，显著优于 EntLM 和其他方法，表明其具有强大的领域外泛化能力。
• 使用 100 个领域内训练样本时，FactMix 的性能优于标准微调方法，并在 CoNLL2003 上比 Zeng et al. (2020) 的方法最高提升 4.5% 的 F1 分数。
• 该方法在不同增强比例下均保持稳定增益，最优性能出现在 1:4 及以上比例，但超过 1:8 后增益逐渐减小。
• FactMix 在微调和提示微调设置中均表现出稳定性能，且在 BERT-large 模型上未出现性能下降，而这是先前数据增强方法常遇到的问题。
• 消融实验证实，上下文级和实体级半事实生成均对性能有显著贡献，且两步对比设置比单步增强更有效。