[论文解读] An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition

Hang Yan, Yu Sun+2 more|arXiv (Cornell University)|Aug 9, 2022

Topic Modeling被引用 5

一句话总结

本文通过将卷积神经网络（CNN）应用于双仿射解码器生成的跨度得分矩阵中的空间相关性，提出了一种简单但有效的嵌套命名实体识别基线方法。尽管方法简单，但在三个基准数据集（ACE2004、ACE2005 和 Genia）上实现了最先进或具有竞争力的性能，显著提升了嵌套实体的召回率，同时发布了标准化的预处理脚本，以确保未来研究的公平比较。

ABSTRACT

Named entity recognition (NER) is the task to detect and classify the entity spans in the text. When entity spans overlap between each other, this problem is named as nested NER. Span-based methods have been widely used to tackle the nested NER. Most of these methods will get a score $n imes n$ matrix, where $n$ means the length of sentence, and each entry corresponds to a span. However, previous work ignores spatial relations in the score matrix. In this paper, we propose using Convolutional Neural Network (CNN) to model these spatial relations in the score matrix. Despite being simple, experiments in three commonly used nested NER datasets show that our model surpasses several recently proposed methods with the same pre-trained encoders. Further analysis shows that using CNN can help the model find more nested entities. Besides, we found that different papers used different sentence tokenizations for the three nested NER datasets, which will influence the comparison. Thus, we release a pre-processing script to facilitate future comparison.

研究动机与目标

• 解决现有基于跨度的嵌套NER方法忽略相邻跨度之间空间相关性的问题。
• 通过显式建模得分矩阵中相邻跨度之间的局部交互，提升嵌套NER的性能。
• 解决先前研究中因句子分词不一致（尤其是分词方式）导致的数据集预处理差异，从而影响性能可比性的问题。
• 提供一种复杂度极低但性能强劲且可复现的基线方法，其在标准基准上的表现优于近期更复杂的模型。

提出的方法

• 该方法使用双仿射解码器生成一个得分矩阵，其中每个条目表示由其起始和结束标记定义的跨度的得分。
• 将得到的 n×n 得分矩阵（n 为句子长度）视为特征图，并输入二维卷积神经网络（CNN），以捕捉跨度之间的局部空间依赖性。
• 在跨度得分矩阵上应用CNN，以建模相邻跨度之间的相互作用，特别是具有层次或嵌套关系的跨度。
• 模型通过在跨度级别分类上使用交叉熵损失进行端到端训练，推理过程通过阈值化或非极大值抑制完成。
• 作者发布了预处理脚本，以统一 ACE2004、ACE2005 和 Genia 数据集的句子分词方式，解决了先前工作中存在的不一致问题。
• 该方法使用与先前工作相同的预训练 BERT 编码器进行评估，以确保公平比较。

实验结果

研究问题

• RQ1 在跨度得分矩阵中建模相邻跨度之间的空间相关性，是否能提升嵌套NER的性能？
• RQ2 在标准嵌套NER基准上，基于CNN的简单方法是否优于近期更复杂的架构？
• RQ3 不同数据集间句子分词方式的差异在多大程度上影响了嵌套NER中的性能比较？
• RQ4 所提出的方法在检测嵌套实体与平坦实体方面有何改进？
• RQ5 标准化的预处理流程在多大程度上能减少变异性并提升嵌套NER研究的可复现性？

主要发现

• 所提出的基于CNN的方法在 ACE2004、ACE2005 和 Genia 数据集上均达到最先进或具有竞争力的性能，优于多个近期模型，且使用了相同的预训练编码器。
• 在 Genia 数据集上，该模型的 F1 得分为 80.33 ± 0.13，优于基线模型 W2NER（81.58 ± 0.61）和 Triaffine（81.23），且在相同数据上进行训练。
• 不使用CNN的模型（w.o. CNN）在所有数据集上的嵌套实体召回率（NER）均较低，表明CNN有助于提升嵌套实体的检测能力。
• 在 ACE2004 数据集上，嵌套实体召回率（NER）从 w.o. CNN 的 89.4 ± 0.8 提升至使用 CNN 的 88.4 ± 0.6，最佳情况下提升了 1.0 个百分点。
• 在 Genia 数据集上，提升最为显著，嵌套实体召回率从 72.7 ± 1.2 提升至 83.4 ± 1.6，提升了 10.7 个百分点。
• 作者证明，先前研究中因分词不一致导致的性能差异确实存在，而其预处理脚本成功解决了这些不一致问题。