[论文解读] Does Higher Order LSTM Have Better Accuracy for Segmenting and Labeling Sequence Data?

Yi Zhang, Xu Sun+3 more|arXiv (Cornell University)|Nov 22, 2017

Topic Modeling参考文献 31被引用 5

一句话总结

本文提出了一种新型序列标注模型——多阶双向LSTM（MO-BiLSTM），通过剪枝技术整合低阶与高阶标签依赖关系，同时保持可扩展性。与仅建模相邻标签转移的常规LSTM-CRF模型不同，MO-BiLSTM通过结合多个阶次状态的预测结果，捕捉更长距离的标签依赖关系，在全短语切分任务中达到最先进（SOTA）的F1分数，并在命名实体识别任务中取得具有竞争力的结果。

ABSTRACT

Existing neural models usually predict the tag of the current token independent of the neighboring tags. The popular LSTM-CRF model considers the tag dependencies between every two consecutive tags. However, it is hard for existing neural models to take longer distance dependencies of tags into consideration. The scalability is mainly limited by the complex model structures and the cost of dynamic programming during training. In our work, we first design a new model called "high order LSTM" to predict multiple tags for the current token which contains not only the current tag but also the previous several tags. We call the number of tags in one prediction as "order". Then we propose a new method called Multi-Order BiLSTM (MO-BiLSTM) which combines low order and high order LSTMs together. MO-BiLSTM keeps the scalability to high order models with a pruning technique. We evaluate MO-BiLSTM on all-phrase chunking and NER datasets. Experiment results show that MO-BiLSTM achieves the state-of-the-art result in chunking and highly competitive results in two NER datasets.

研究动机与目标

• 解决现有神经网络模型在序列标注任务中难以捕捉长距离标签依赖关系的局限性。
• 探究更高阶LSTM模型（即同时预测多个标签）是否能提升序列分割与标注的准确性。
• 通过混合架构克服纯高阶LSTM模型在可扩展性与性能下降方面的问题。
• 提出一种基于剪枝的方法，在整合多阶标签信息的同时保持训练与推理效率。
• 证明建模超出相邻标签对的依赖关系（尤其是边界与长段落识别）的有效性。

提出的方法

• 设计单阶LSTM模型，其中每个预测涉及当前词与前（n-1）个标签，形成‘阶-n’标签序列。
• 将‘阶’定义为预测中涉及的连续标签数量，阶-1为一元模型，阶-2为二元模型，依此类推。
• 提出多阶双向LSTM（MO-BiLSTM），将多个阶次模型（如阶-1与阶-2）的预测结果整合到统一的解码框架中。
• 在训练过程中应用剪枝技术，降低高阶模型的计算成本，同时不损失性能。
• 使用双向LSTM编码器与Softmax输出层计算各阶次的标签得分，支持端到端训练。
• 通过结构化预测机制在解码阶段整合多阶预测结果，利用不同阶次之间的依赖关系。

实验结果

研究问题

• RQ1 提高LSTM模型的阶次（即建模更多历史标签）是否能提升切分与命名实体识别任务的序列标注准确率？
• RQ2 尽管能捕捉更多标签依赖关系，为何纯高阶LSTM模型在阶次增加时性能反而下降？
• RQ3 通过剪枝技术结合低阶与高阶模型，能否在保持可扩展性的同时提升性能？
• RQ4 与标准双向LSTM模型相比，MO-BiLSTM在边界级错误上的减少程度如何？
• RQ5 在长段落识别任务中，该模型表现如何，尤其是在长距离依赖关系至关重要的场景下？

主要发现

• 尽管理论上具备建模更长依赖关系的能力，但纯单阶LSTM模型的性能随阶次增加而下降。
• MO-BiLSTM在CoNLL-2000切分数据集上取得了97.42的最先进F1分数，优于现有方法。
• 与标准双向LSTM相比，MO-BiLSTM将边界识别错误减少了近40%，尤其在长段落检测中提升最大。
• 对于长度超过5个词的长实体，错误率从BiLSTM的27.42%降至MO-BiLSTM的14.52%，表明其具备强大的长距离依赖学习能力。
• 剪枝技术使MO-BiLSTM能够高效扩展至高阶模型，且训练过程中无需动态规划。
• 模型在‘边界’错误类型（boundary-1、boundary-2、boundary-3）上均有显著改善，表明其段落边界检测能力得到增强。