[论文解读] A Rigorous Study on Named Entity Recognition: Can Fine-tuning Pretrained Model Lead to the Promised Land?

Hongyu Lin, Yaojie Lu+5 more|arXiv (Cornell University)|Apr 25, 2020

Topic Modeling参考文献 37被引用 4

一句话总结

本论文通过随机化测试，从标准基准中消除名称规律性、提及覆盖率和上下文多样性，探究微调的预训练模型在开放世界命名实体识别（NER）设置下的泛化能力。结果表明，名称规律性对泛化至关重要，高提及覆盖率会损害泛化能力，而大量训练数据对于学习上下文模式是冗余的。

ABSTRACT

Fine-tuning pretrained model has achieved promising performance on standard NER benchmarks. Generally, these benchmarks are blessed with strong name regularity, high mention coverage and sufficient context diversity. Unfortunately, when scaling NER to open situations, these advantages may no longer exist. And therefore it raises a critical question of whether previous creditable approaches can still work well when facing these challenges. As there is no currently available dataset to investigate this problem, this paper proposes to conduct randomization test on standard benchmarks. Specifically, we erase name regularity, mention coverage and context diversity respectively from the benchmarks, in order to explore their impact on the generalization ability of models. To further verify our conclusions, we also construct a new open NER dataset that focuses on entity types with weaker name regularity and lower mention coverage to verify our conclusion. From both randomization test and empirical experiments, we draw the conclusions that 1) name regularity is critical for the models to generalize to unseen mentions; 2) high mention coverage may undermine the model generalization ability and 3) context patterns may not require enormous data to capture when using pretrained encoders.

研究动机与目标

• 探究在标准基准上微调的最先进NER模型是否能有效泛化到名称规律性较弱、提及覆盖率较低、上下文多样性有限的开放世界场景中。
• 识别影响开放NER中模型泛化的最关键因素——名称规律性、提及覆盖率或上下文多样性。
• 通过系统化的随机化测试，隔离并评估特定数据属性的影响，以应对开放NER缺乏基准的现状。
• 构建一个新的开放NER数据集，聚焦于名称规律性弱且提及覆盖率低的实体类型，以实证验证研究发现。
• 为在低资源和开放领域设置下构建更鲁棒、更高效的NER模型提供可操作的见解。

提出的方法

• 在标准NER基准（如CoNLL03、ACE2005、TAC-KBP）上进行随机化测试，系统性地消除名称规律性、提及覆盖率和上下文多样性。
• 应用提及替换机制以消除名称规律性（如交换名和姓）、提及覆盖率（如用未见过的同义词替换测试提及）以及上下文多样性（如减少上下文长度或用随机标记替换）。
• 在原始（原始）和随机化版本的基准上，对相同的微调BERT模型进行训练和评估，以衡量性能下降。
• 利用维基百科构建一个新的开放NER数据集，聚焦于名称规律性弱（如电影标题）和提及覆盖率低的实体类型，以验证研究发现。
• 分析在不同训练数据规模（500至10,000个实例）下的模型性能，以评估数据对上下文模式学习的边际收益。
• 结合定量性能下降和定性分析，评估模型对特定数据属性的依赖程度。

实验结果

研究问题

• RQ1 训练数据中的名称规律性在多大程度上影响模型在开放世界NER中对未见提及的泛化能力？
• RQ2 标准基准中高提及覆盖率在多大程度上导致模型泛化偏差，是否削弱了其在分布外提及上的表现？
• RQ3 当使用预训练编码器时，是否需要大量训练数据来学习上下文模式，还是模型在极小数据量下也能有效泛化？
• RQ4 词典内与词典外提及之间的性能差距在多大程度上可归因于名称规律性，该效应有多显著？
• RQ5 由于其固有的数据属性，当前基准在多大程度上未能真实反映现实世界开放NER的挑战？

主要发现

• 名称规律性对泛化至关重要：当名称规律性被消除时，模型的F1值在精确率上下降超过24%，在召回率上下降超过18%，表明其对组合模式存在强烈依赖。
• 高提及覆盖率损害泛化能力：在高覆盖率数据上训练的模型在未见提及上的表现较差，表明其对词典内示例存在过拟合。
• 上下文模式可仅用少量数据有效学习：性能提升在3,000个训练实例后趋于平稳，表明大规模数据对上下文学习存在冗余。
• 在基于维基百科的开放NER数据集中，词典内与词典外提及之间的F1值差距超过24%，证实了名称规律性的关键作用。
• 随机化测试表明，使用预训练编码器时，模型对名称规律性最为敏感，对提及覆盖率中度敏感，对上下文多样性最不敏感。
• 本研究证实，标准基准因人为数据属性而高估了模型的泛化能力，因此亟需为开放NER设计新的评估协议。