[论文解读] A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding

Peilu Wang, Yao Qian+3 more|arXiv (Cornell University)|Nov 1, 2015

Topic Modeling参考文献 37被引用 74

一句话总结

本文提出了一种统一的标注框架，采用双向LSTM-RNN与词嵌入技术进行词性标注、短语结构切分和命名实体识别。该方法仅依赖词形和首字母大写特征，不使用任务特定特征或人工特征工程，即在所有三项任务中实现了接近最先进水平的性能，表明深度学习模型可以取代自然语言处理标注任务中的复杂特征工程。

ABSTRACT

Bidirectional Long Short-Term Memory Recurrent Neural Network (BLSTM-RNN) has been shown to be very effective for modeling and predicting sequential data, e.g. speech utterances or handwritten documents. In this study, we propose to use BLSTM-RNN for a unified tagging solution that can be applied to various tagging tasks including part-of-speech tagging, chunking and named entity recognition. Instead of exploiting specific features carefully optimized for each task, our solution only uses one set of task-independent features and internal representations learnt from unlabeled text for all tasks.Requiring no task specific knowledge or sophisticated feature engineering, our approach gets nearly state-of-the-art performance in all these three tagging tasks.

研究动机与目标

• 开发一种适用于多种自然语言处理标注任务的统一神经网络框架，且无需任务特定的特征工程。
• 探究基于BLSTM-RNN与自学习词嵌入的模型是否能够达到或超越依赖丰富手工设计特征的传统系统性能。
• 评估仅使用简单、与任务无关的输入特征（词形与首字母大写）结合无监督词嵌入的有效性。
• 证明端到端的BLSTM-RNN学习能够有效建模多种标注任务中的序列依赖关系。
• 证明在无标注数据上预训练的词嵌入可作为强大的通用语言表示，用于标注任务。

提出的方法

• 采用双向LSTM-RNN架构，对序列中每个词元建模其前后文信息。
• 每个词仅使用两个输入特征：词形和二值化首字母大写特征，避免使用复杂的形态或句法特征。
• 在大规模无标注文本上端到端训练词嵌入，学习捕获语义与句法信息的稠密向量表示。
• 使用每项任务（词性标注、短语结构切分、命名实体识别）的标注数据，以监督方式训练完整标注模型，其中词嵌入使用预训练的无监督模型初始化。
• 在BLSTM输出之上应用条件随机场（CRF）层，以优化序列标注预测结果。
• 将词嵌入的预训练与监督微调任务分离，实现嵌入在不同任务间的复用，降低整体训练时间。

实验结果

研究问题

• RQ1 基于BLSTM-RNN的单一统一神经网络模型是否能在无需任务特定特征工程的情况下，在多种自然语言处理标注任务中实现具有竞争力的性能？
• RQ2 当结合自学习词嵌入时，仅使用简单、与任务无关的输入特征（词形与首字母大写）在序列标注中的有效性如何？
• RQ3 在无标注大规模语料上预训练的无监督词嵌入，在多大程度上可以替代标注系统中对手工设计语言特征的需求？
• RQ4 BLSTM-RNN架构是否在建模标注任务的序列依赖关系方面优于前馈神经网络，尤其是在结合词嵌入时？
• RQ5 将无监督嵌入预训练与监督微调分离，是否能提升不同标注任务中的效率与泛化能力？

主要发现

• 所提出的BLSTM-RNN模型结合词嵌入在词性标注任务中达到97.26%的准确率，与依赖大量特征工程的最先进系统性能相当。
• 在短语结构切分任务中，模型F1得分为94.59%，超过先前使用复杂特征模板的系统最佳报告结果。
• 在命名实体识别任务中，模型F1得分为89.64%，优于此前采用半监督方法并使用大型地名词典与79个特征模板的最先进系统。
• 即使未使用词嵌入，该模型也显著优于Collobert等人（2011）提出的前馈神经网络基线模型，证明了BLSTM在序列建模方面的优越性。
• 使用预训练词嵌入在所有三项任务中均带来一致的性能提升，证实其作为通用语言表示的价值。
• 该系统的性能在各项任务中均表现稳健且一致，表明仅通过极简特征工程的统一架构，可达到或超越专用系统水平。