[论文解读] A Survey on Deep Learning for Named Entity Recognition

Jing Li, Aixin Sun+2 more|arXiv (Cornell University)|Dec 22, 2018

Topic Modeling参考文献 194被引用 100

一句话总结

本文综述了用于 NER 的深度学习技术，按输入表示、上下文编码器和标签解码器对方法进行组织，并讨论数据集、工具、评估、挑战和未来方向。

ABSTRACT

Named entity recognition (NER) is the task to identify mentions of rigid designators from text belonging to predefined semantic types such as person, location, organization etc. NER always serves as the foundation for many natural language applications such as question answering, text summarization, and machine translation. Early NER systems got a huge success in achieving good performance with the cost of human engineering in designing domain-specific features and rules. In recent years, deep learning, empowered by continuous real-valued vector representations and semantic composition through nonlinear processing, has been employed in NER systems, yielding stat-of-the-art performance. In this paper, we provide a comprehensive review on existing deep learning techniques for NER. We first introduce NER resources, including tagged NER corpora and off-the-shelf NER tools. Then, we systematically categorize existing works based on a taxonomy along three axes: distributed representations for input, context encoder, and tag decoder. Next, we survey the most representative methods for recent applied techniques of deep learning in new NER problem settings and applications. Finally, we present readers with the challenges faced by NER systems and outline future directions in this area.

研究动机与目标

• 激励并定义 NER 及其在 NLP 应用中的重要性。
• 概述可用的 English NER 数据集和开箱即用的工具。
• 提出按输入表示、上下文编码器和标签解码器对 DL-based NER 的分类法。
• 调查具有代表性的深度学习技术及其在不同 NER 设置中的适用性。
• 讨论在 DL-based NER 中的挑战并概述未来研究方向。

提出的方法

• 引入一个用于 DL-based NER 的三轴分类：分布式输入表示、上下文编码器(CNN/RNN) 和标签解码器。
• 回顾 NER 模型中使用的词级、字符级和混合表示。
• 讨论上下文编码器体系结构（例如 CNNs、RNNs、LSTMs、BiLSTMs）以及它们如何与标签解码相互作用。
• 总结数据集资源（例如 CoNLL03、OntoNotes）和广泛使用的 NER 工具（学术界和工业界）。
• 解释评估指标（exact-match 和 relaxed-match）及传统评估方案及其权衡。

实验结果

研究问题

• RQ1 在 NER 中流行的深度学习架构和表示有哪些，它们如何影响性能？
• RQ2 哪些资源（数据集和工具）对 English NER 研究与基准测试最具影响力？
• RQ3 我们应如何评估 NER 系统，不同评估方案的优缺点是什么？
• RQ4 在实践和研究中 DL-based NER 的主要挑战和开放方向是什么？

主要发现

• 由于自动表示学习和端到端训练，深度学习已在 NER 中占据主导地位。
• 词级、字符级和混合（包括词典和上下文嵌入）表示是 DL-based NER 的核心。
• 上下文编码器（CNNs、RNNs、LSTMs、transformers）和标签解码器共同决定 NER 的性能，其中上下文建模至关重要。
• 各种 English NER 数据集和开箱即用的工具可用，涵盖新闻、网络、生物医学和用户生成文本。
• 评估框架包括 exact-match（边界和类型）和 relaxed-match 方案，在可解释性和可比性方面存在权衡。