[论文解读] FLERT: Document-Level Features for Named Entity Recognition

Stefan Schweter, Alan Akbik|arXiv (Cornell University)|Nov 13, 2020

Topic Modeling参考文献 22被引用 15

一句话总结

本文提出 FLERT 方法，通过基于 Transformer 的模型引入文档级上下文，以增强命名实体识别（NER）性能，每句话使用固定 64 个标记的左右上下文窗口。实验表明，通过强制设定文档边界进行微调，该方法在多个 CoNLL-03 数据集上实现了最先进（SOTA）的性能，德国语和荷兰语的 F1 分数分别提升了最高 1.81 和 1.50 个百分点。

ABSTRACT

Current state-of-the-art approaches for named entity recognition (NER) typically consider text at the sentence-level and thus do not model information that crosses sentence boundaries. However, the use of transformer-based models for NER offers natural options for capturing document-level features. In this paper, we perform a comparative evaluation of document-level features in the two standard NER architectures commonly considered in the literature, namely "fine-tuning" and "feature-based LSTM-CRF". We evaluate different hyperparameters for document-level features such as context window size and enforcing document-locality. We present experiments from which we derive recommendations for how to model document context and present new state-of-the-art scores on several CoNLL-03 benchmark datasets. Our approach is integrated into the Flair framework to facilitate reproduction of our experiments.

研究动机与目标

• 评估文档级特征对 NER 性能的影响，独立于其他模型组件。
• 比较两种主流的基于 Transformer 的 NER 架构：微调方法与基于特征的 LSTM-CRF 方法。
• 识别文档级上下文的最优超参数，包括窗口大小和文档边界强制设置。
• 通过引入文档级上下文，在标准 CoNLL-03 NER 基准上实现新的最先进性能。
• 将该方法集成至 Flair NLP 框架中，以确保可复现性并供社区使用。

提出的方法

• 对于每个待标注的句子，模型接收 64 个子词标记的左右上下文，形成具有文档感知能力的输入序列。
• 模型利用 Transformer 编码器中的自注意力机制，使词表示在句子间产生相互影响，从而实现文档级上下文建模。
• 评估了两种架构：(1) 对完整 Transformer 模型进行微调，并使用线性头进行 token 级预测；(2) 仅将 Transformer 作为外部 LSTM-CRF 模型的特征提取器。
• 通过开发集性能选择最佳配置，超参数如上下文窗口大小和文档边界强制设置通过消融实验进行调优。
• 在训练过程中通过在文档级标记处截断上下文来强制设定文档边界，从而提升性能。
• 最终模型作为 Flair NLP 框架中的 FLERT 扩展模块发布，以支持公开使用和可复现性。

实验结果

研究问题

• RQ1 与句子级建模相比，引入文档级上下文对 NER 性能有何影响？
• RQ2 在两种标准 NER 架构——微调方法与基于特征的 LSTM-CRF 方法中，哪一种从文档级特征中获益更多？
• RQ3 文档级特征在 NER 中的最优上下文窗口大小是多少？
• RQ4 在训练过程中强制设定文档边界是否能提升模型性能？这为何可能是必要的？
• RQ5 文档级特征能否在标准 CoNLL-03 NER 基准上实现新的最先进结果？

主要发现

• 文档级特征显著提升了 NER 性能，与句子级建模相比，所有语言的平均 F1 分数提升了 1.15 个百分点。
• 在平均 F1 分数上，使用文档级特征微调完整 Transformer 模型的方法比基于特征的 LSTM-CRF 方法高出约 2 个百分点。
• 在所有语言中，强制设定文档边界均能提升性能，表明 Transformer 模型在无显式监督的情况下不会自动尊重文档边界。
• 最优上下文窗口大小为每侧 64 个标记，该设置在微调配置下于所有语言中均取得最高性能。
• FLERT 在德国语和荷兰语的 CoNLL-03 数据集上实现了新的最先进结果，相比之前工作，F1 分数分别提升了 1.81 和 1.50 个百分点。
• 文档级特征带来的最大性能增益出现在 ORG（组织）和 PER（人名）实体类型上，表明跨句子上下文对这两类实体最为有益。