[论文解读] Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding

Brian Lester, Daniel Pressel+2 more|arXiv (Cornell University)|Jan 4, 2020

Topic Modeling被引用 4

一句话总结

该论文提出了一种计算高效的命名实体识别标记器，通过拼接多种预训练嵌入并应用于交叉熵损失训练模型的约束解码，相较于基于上下文嵌入的基线模型实现了786%的加速，同时在多个数据集和任务上保持了强大的性能。

ABSTRACT

Current State-of-the-Art models in Named Entity Recognition (NER) are neural models with a Conditional Random Field (CRF) as the final network layer, and pre-trained "contextual embeddings". The CRF layer is used to facilitate global coherence between labels, and the contextual embeddings provide a better representation of words in context. However, both of these improvements come at a high computational cost. In this work, we explore two simple techniques that substantially improve NER performance over a strong baseline with negligible cost. First, we use multiple pre-trained embeddings as word representations via concatenation. Second, we constrain the tagger, trained using a cross-entropy loss, during decoding to eliminate illegal transitions. While training a tagger on CoNLL 2003 we find a $786$\\% speed-up over a contextual embeddings-based tagger without sacrificing strong performance. We also show that the concatenation technique works across multiple tasks and datasets. We analyze aspects of similarity and coverage between pre-trained embeddings and the dynamics of tag co-occurrence to explain why these techniques work. We provide an open source implementation of our tagger using these techniques in three popular deep learning frameworks --- TensorFlow, Pytorch, and DyNet.

研究动机与目标

• 降低依赖上下文嵌入和CRF层的最先进命名实体识别模型的计算成本。
• 通过简单且高效的技巧提升命名实体识别性能，而不增加训练复杂度。
• 探究组合多种预训练嵌入是否能提升表示质量与泛化能力。
• 评估约束解码在不使用CRF的情况下强制实现标签一致性的有效性。
• 提供一个公开可用、框架无关的实现，以促进广泛采用。

提出的方法

• 将多种预训练上下文嵌入（如 BERT、ELMo）拼接作为每个词的输入表示。
• 使用交叉熵损失训练序列标记器，而非使用CRF层，以减少计算开销。
• 在解码过程中应用转移约束矩阵，以消除非法的标签转移，确保全局标签一致性。
• 使用带有约束转移的动态规划方法，高效地解码预测结果。
• 在 CoNLL 2003 和其他数据集上评估模型性能与速度。
• 提供在 TensorFlow、PyTorch 和 DyNet 中的开源实现，以确保可复现性与系统集成。

实验结果

研究问题

• RQ1 通过组合多种预训练嵌入是否能在计算成本极低的情况下提升命名实体识别性能？
• RQ2 在交叉熵损失训练的标记器上应用约束解码，其标签一致性是否能与CRF层相当？
• RQ3 多种嵌入的组合如何影响标签覆盖率与表示相似性？
• RQ4 在不牺牲性能的前提下，能够实现多大程度的加速？
• RQ5 所提出的方法在不同命名实体识别数据集和任务上是否具有泛化能力？

主要发现

• 在 CoNLL 2003 数据集上，该模型相较于基于上下文嵌入并使用CRF的标记器实现了786%的加速。
• 所提模型在 CoNLL 2003 和其他数据集上的性能与强基线模型（包括基于CRF的模型）相当或更优。
• 拼接多种预训练嵌入能有效提升表示质量与在多样化命名实体识别任务中的泛化能力。
• 约束解码能有效强制实现标签一致性，完全替代CRF层且不损失性能。
• 该方法在多个数据集和任务上表现出良好的鲁棒性与可迁移性。
• 在 TensorFlow、PyTorch 和 DyNet 中的开源实现促进了广泛采用与系统集成。