[论文解读] A Survey on Recent Advances in Sequence Labeling from Deep Learning Models

Zhiyong He, Zanbo Wang+4 more|arXiv (Cornell University)|Nov 13, 2020

Topic Modeling参考文献 126被引用 16

一句话总结

本综述系统性地回顾了基于深度学习的序列标注模型，从嵌入、上下文编码和推理模块三个维度对模型进行分类。它分析了在 CoNLL-2003 等标准数据集上的最先进模型，识别影响性能的关键因素，并指出了在低资源设置、可扩展性以及外部资源集成方面的未来研究方向，为自然语言处理领域的研究人员提供了基础性参考。

ABSTRACT

Sequence labeling (SL) is a fundamental research problem encompassing a variety of tasks, e.g., part-of-speech (POS) tagging, named entity recognition (NER), text chunking, etc. Though prevalent and effective in many downstream applications (e.g., information retrieval, question answering, and knowledge graph embedding), conventional sequence labeling approaches heavily rely on hand-crafted or language-specific features. Recently, deep learning has been employed for sequence labeling tasks due to its powerful capability in automatically learning complex features of instances and effectively yielding the stat-of-the-art performances. In this paper, we aim to present a comprehensive review of existing deep learning-based sequence labeling models, which consists of three related tasks, e.g., part-of-speech tagging, named entity recognition, and text chunking. Then, we systematically present the existing approaches base on a scientific taxonomy, as well as the widely-used experimental datasets and popularly-adopted evaluation metrics in the SL domain. Furthermore, we also present an in-depth analysis of different SL models on the factors that may affect the performance and future directions in the SL domain.

研究动机与目标

• 为序列标注的深度学习模型提供一个系统化、基于科学的分类体系，涵盖嵌入、上下文编码和推理模块三个核心组件。
• 总结并对比在 NER、词性标注和文本切分等广泛使用的基准数据集（如 CoNLL-2003）上的最先进模型。
• 分析影响模型性能的关键因素，包括模型架构设计、外部资源的使用以及数据稀缺性。
• 识别低资源环境、模型可扩展性以及外部知识源有效集成方面的开放性挑战与未来研究方向。
• 为进入基于深度学习的序列标注领域的研究人员和实践者提供全面且最新的参考。

提出的方法

• 本综述基于三轴分类体系组织现有深度学习模型：嵌入模块（如词嵌入、字符嵌入、子词嵌入）、上下文编码模块（如 BiLSTM、CNN、Transformer）和推理模块（如 CRF、无 CRF 头）。
• 采用标准化数据集（如 CoNLL-2003 用于 NER，CoNLL-2000 用于切分，CoNLL-2003 用于 POS 标注）和标准指标（如 F1 分数和准确率）对模型进行评估。
• 分析比较了在使用和不使用外部资源（如地名词典和大规模预训练语料）情况下的模型性能。
• 探讨了诸如用于建模长距离标签依赖的 tag-LSTM 和用于罕见实体的去词化实体识别等架构创新。
• 评估了在低资源场景下局部上下文重建和迁移学习等技术的影响。
• 讨论了在大规模或实际应用中，模型复杂度、训练成本与可扩展性之间的权衡。

实验结果

研究问题

• RQ1 不同深度学习架构（尤其在嵌入、上下文编码和推理模块方面）如何影响序列标注的性能？
• RQ2 预训练语料、地名词典和词典等外部资源对模型准确率和鲁棒性有何影响？
• RQ3 为何模型在命名实体识别（NER）上的表现劣于词性标注（POS）任务？哪些架构或训练策略可缓解这一差距？
• RQ4 如何将深度学习模型适配于标注数据有限的低资源语言或领域？
• RQ5 在真实世界的大规模应用中，序列标注的深度学习模型在可扩展性方面面临哪些关键挑战？

主要发现

• Ma 和 Hovy（2016）提出的 Bi-LSTM-CNN-CRF 模型在 CoNLL-2003 NER 任务上保持了 97.55% 的准确率，是无需特征工程的强基准模型。
• Zhang 等人（2018）通过引入 tag-LSTM 建模长距离标签依赖，将该基线性能提升 0.04%，达到 97.59% 的准确率。
• Bohnet 等人（2018）通过增强字符和词级别的句子级上下文表示，实现了 97.96% 的 F1 分数，达到当时最先进水平。
• 在 NER 任务中，不使用外部资源的模型平均 F1 分数为 92.67%（Li 等人，2018），而使用大规模无标注语料进行预训练的模型显著优于它们。
• NER 任务仍比 POS 标注更具挑战性，大多数模型的 F1 分数在 91–92% 之间，表明该任务本身存在固有的难度。
• 预训练语言模型和外部资源能显著提升性能，但需要较高的计算成本和更大的模型参数量。