[论文解读] CrossNER: Evaluating Cross-Domain Named Entity Recognition

Zihan Liu, Yan Xu+6 more|arXiv (Cornell University)|Dec 8, 2020

Topic Modeling参考文献 44被引用 22

一句话总结

本文提出了 CrossNER，一个涵盖五个不同领域（政治、自然科学、音乐、文学和人工智能）的跨领域命名实体识别（NER）数据集，每个领域均包含领域特异的实体类型。该研究提出了一种基于领域特定语料和跨度级掩码的领域自适应预训练（DAPT）方法，结果表明，聚焦于富含实体的子语料并采用跨度级掩码可显著提升跨领域少样本 NER 的性能，优于现有基线模型。

ABSTRACT

Cross-domain named entity recognition (NER) models are able to cope with the scarcity issue of NER samples in target domains. However, most of the existing NER benchmarks lack domain-specialized entity types or do not focus on a certain domain, leading to a less effective cross-domain evaluation. To address these obstacles, we introduce a cross-domain NER dataset (CrossNER), a fully-labeled collection of NER data spanning over five diverse domains with specialized entity categories for different domains. Additionally, we also provide a domain-related corpus since using it to continue pre-training language models (domain-adaptive pre-training) is effective for the domain adaptation. We then conduct comprehensive experiments to explore the effectiveness of leveraging different levels of the domain corpus and pre-training strategies to do domain-adaptive pre-training for the cross-domain task. Results show that focusing on the fractional corpus containing domain-specialized entities and utilizing a more challenging pre-training strategy in domain-adaptive pre-training are beneficial for the NER domain adaptation, and our proposed method can consistently outperform existing cross-domain NER baselines. Nevertheless, experiments also illustrate the challenge of this cross-domain NER task. We hope that our dataset and baselines will catalyze research in the NER domain adaptation area. The code and data are available at https://github.com/zliucr/CrossNER.

研究动机与目标

• 解决现有 NER 基准中缺乏领域特异性实体类型及针对性领域评估的问题。
• 构建一个包含五个独立领域的低资源跨领域 NER 评估框架，每个领域具有独特的实体类别。
• 探究使用不同规模的领域特定语料和掩码策略时，领域自适应预训练（DAPT）的有效性。
• 建立强基线模型，其性能优于现有最先进模型。

提出的方法

• 在五个不同领域（政治、自然科学、音乐、文学和人工智能）中标注一个完全标注的 NER 数据集，每个领域包含特定的实体类型，如“政治人物”、“艺术家”、“乐队”、“歌曲”和“AI 模型”。
• 收集五个未标注的领域相关语料，用于领域自适应预训练（DAPT），以提升模型在目标领域的泛化能力。
• 通过在领域特定语料上微调 BERT 来实施 DAPT，并对语料规模和组成进行消融实验。
• 在 DAPT 中引入一种新颖的跨度级掩码策略，即掩码连续的词元跨度而非随机词元，以增强上下文学习能力。
• 在低资源设置下，比较多种预训练与微调策略：直接微调、先预训练再微调、以及联合训练。
• 通过整合领域语料和跨度级掩码策略，提升模型对领域特异性实体的适应能力。

实验结果

研究问题

• RQ1 在低资源设置下，领域特定语料的规模和组成如何影响跨领域 NER 的性能？
• RQ2 与标准的词元级掩码相比，DAPT 中采用跨度级掩码是否能提升 NER 性能？
• RQ3 在仅使用源领域 NER 数据时，对“艺术家”或“乐队”等领域特异性实体类型的性能下降程度如何？
• RQ4 随着目标领域训练样本数量的减少，性能如何下降？DAPT 是否能缓解这一问题？
• RQ5 是否可以通过统一的 DAPT 策略（结合跨度级掩码和领域特定语料选择）持续优于现有跨领域 NER 基线？

主要发现

• 在 DAPT 中仅使用包含领域特异性实体（如政治领域中的“政治人物”）的语料子集，相比使用完整领域语料，能显著提升目标领域实体的性能。
• 跨度级掩码（即掩码连续词元跨度而非随机词元）在 DAPT 中始终优于标准的词元级掩码，在音乐领域中 F1 分数最高提升达 10.15 分。
• 当每个目标领域的训练样本仅剩 10 个时，采用 DAPT 的“先预训练再微调”策略相比“直接微调”在 F1 分数上高出约 10 分，表明其具备强大的少样本适应能力。
• 最佳模型在“先预训练再微调”设置下，结合跨度级掩码和整合语料，在音乐领域的 F1 得分为 80.54，优于现有基线模型。
• 一般类别（如“人”和“组织”）的性能通常高于领域特异性实体（如“艺术家”或“乐队”），后者因类别层级重叠而易发生误分类。
• 随着目标领域样本数量的减少，“先预训练再微调”与“联合训练”之间的性能差距扩大，表明前者更能聚焦于低资源目标领域。