[论文解读] Hybrid semi-Markov CRF for Neural Sequence Labeling

Zhi-Xiu Ye, Zhen-Hua Ling|arXiv (Cornell University)|May 10, 2018

Natural Language Processing Techniques被引用 3

一句话总结

该论文提出了一种混合半马尔可夫CRF（HSCRF），通过联合建模词级别和片段级别标签来实现神经序列标注，利用词级别标签来指导片段得分，并联合训练CRF与HSCRF输出层。该方法在CoNLL 2003 NER基准上取得了91.53%的SOTA F1分数，无需外部知识，通过双重监督更好地捕捉了短实体和长实体，优于先前模型。

ABSTRACT

This paper proposes hybrid semi-Markov conditional random fields (SCRFs) for neural sequence labeling in natural language processing. Based on conventional conditional random fields (CRFs), SCRFs have been designed for the tasks of assigning labels to segments by extracting features from and describing transitions between segments instead of words. In this paper, we improve the existing SCRF methods by employing word-level and segment-level information simultaneously. First, word-level labels are utilized to derive the segment scores in SCRFs. Second, a CRF output layer and an SCRF output layer are integrated into an unified neural network and trained jointly. Experimental results on CoNLL 2003 named entity recognition (NER) shared task show that our model achieves state-of-the-art performance when no external knowledge is used.

研究动机与目标

• 通过在半马尔可夫CRF中整合词级别与片段级别标签监督，提升神经序列标注性能。
• 解决现有SCRF模型仅依赖片段级别标签的局限性，后者可能对短实体建模不足。
• 设计一种联合训练与解码框架，利用CRF与HSCRF输出的协同信息以提升序列标注性能。
• 仅使用标准训练数据与预训练嵌入，在CoNLL 2003 NER基准上实现SOTA性能。

提出的方法

• HSCRF模型通过计算每个片段内词级别标签得分的总和来生成片段得分，其中每个词的得分由学习得到的权重向量及其特征表示决定。
• 词级别特征包括词嵌入、片段内相对位置嵌入，以及片段首尾词表示的差异。
• 将标准CRF输出层与HSCRF输出层整合进统一的神经网络，实现联合训练。
• 提出一种朴素的联合解码算法，用于在推理阶段同时解码词级别与片段级别标签。
• 片段得分函数定义为片段内各词得分之和，整体分割得分通过转移得分与片段得分的指数运算计算得出。
• 通过标准CRF归一化因子对所有可能的分割方式进行归一化，得到最终的分割概率分布。

实验结果

研究问题

• RQ1 词级别标签能否提升半马尔可夫CRF中片段得分估计的性能？
• RQ2 联合训练CRF与HSCRF输出层是否能带来优于单独使用任一模型的性能提升？
• RQ3 对词级别与片段级别标签的联合建模如何影响长实体与短实体的识别效果？
• RQ4 所提出的HSCRF模型能否在不依赖外部知识的情况下实现在CoNLL 2003 NER上的SOTA性能？

主要发现

• HSCRF模型在CoNLL 2003 NER基准上取得了91.53%的SOTA F1分数，优于所有无需外部知识的可比模型。
• 联合训练与解码框架（LM-BLSTM-JNT）在所有实体长度上均达到最高F1分数91.38%，证明了联合优化的优势。
• 对于长实体（≥6词），HSCRF模型的F1得分为74.55%，优于CRF（72.73%）与GSCRF（73.64%），表明其在长序列建模方面更具优势。
• 对于短实体（≤2词），HSCRF模型与CRF性能相当（F1：91.84 vs. 91.68），显示出对短跨度的鲁棒性。
• 消融实验表明，词级别标签提升了短实体识别效果，而片段级别标签增强了长实体检测能力，验证了双重监督的互补性。
• 采用联合训练与解码的模型（LM-BLSTM-JNT）在所有实体长度类别中均取得最佳整体性能，证实了联合框架的有效性。