[论文解读] BERT memorisation and pitfalls in low-resource scenarios.

Michael Tänzer, Sebastian Ruder+1 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 24被引用 4

一句话总结

本文研究了 BERT 在低资源和噪声环境下的记忆与泛化能力，发现其对标签噪声具有鲁棒性，但在 few-shot 和罕见实体识别任务中表现失败。为解决此问题，本文提出了一种基于原型网络的新型 BERT 架构，显著提升了低资源命名实体识别任务的性能。

ABSTRACT

State-of-the-art pre-trained models have been shown to memorise facts and perform well with limited amounts of training data. To gain a better understanding of how these models learn, we study their generalisation and memorisation capabilities in noisy and low-resource scenarios. We find that the training of these models is almost unaffected by label noise and that it is possible to reach near-optimal performances even on extremely noisy datasets. Conversely, we also find that they completely fail when tested on low-resource tasks such as few-shot learning and rare entity recognition. To mitigate such limitations, we propose a novel architecture based on BERT and prototypical networks that improves performance in low-resource named entity recognition tasks.

研究动机与目标

• 理解预训练模型（如 BERT）在低资源和噪声训练场景下的泛化与事实记忆机制。
• 探究 BERT 在 few-shot 学习和罕见实体识别任务中的局限性。
• 通过提出一种结合 BERT 与原型网络的新架构，解决 BERT 在低资源设置下的失败问题。
• 在仅有有限或罕见样本可用时，提升命名实体识别任务的性能。

提出的方法

• 所提出的模型将 BERT 与原型网络结合，通过 few-shot 支持集学习类别原型。
• 利用 BERT 的上下文表示作为输入，通过对支持样本进行平均池化计算类别原型。
• 通过注意力机制计算查询嵌入与类别原型之间的相似度以实现分类。
• 在训练过程中应用对比损失，以促进不同类别原型之间的分离。
• 在包含 few-shot 和罕见实体样本的低资源命名实体识别数据集上，端到端微调该架构。
• 通过利用从 BERT 表示中提取的原型嵌入，实现高效的 few-shot 和 zero-shot 推理。

实验结果

研究问题

• RQ1 BERT 在低资源设置下面对高标签噪声时表现如何？
• RQ2 为何 BERT 尽管在标准基准上表现优异，却在 few-shot 和罕见实体识别任务中失败？
• RQ3 将 BERT 与原型网络结合是否能提升低资源命名实体识别中的泛化能力？
• RQ4 所提出的架构在多大程度上缓解了低资源场景下的记忆问题？

主要发现

• BERT 展现出对标签噪声的强鲁棒性，在极端噪声数据集上仍能达到接近最优的性能。
• 尽管具备鲁棒性，BERT 在 few-shot 和罕见实体识别任务中仍无法实现有效泛化，表明其在低资源设置下存在关键局限性。
• 所提出的 BERT-原型网络架构在低资源命名实体识别基准上显著提升了性能。
• 该模型在 few-shot 和罕见实体识别任务中达到当前最优结果，展现出相较于标准微调 BERT 的更强泛化能力。