[论文解读] Combining Discrete and Neural Features for Sequence Labeling

Jie Yang, Zhiyang Teng+2 more|arXiv (Cornell University)|Aug 24, 2017

Topic Modeling参考文献 44被引用 36

一句话总结

本文提出了一种联合序列标注模型，将离散的手动特征（例如手工设计的CRF特征）与基于LSTM的神经CRF模型中的神经特征相结合。通过整合这两类特征，该模型在中文和英文任务中均持续优于仅使用离散特征或仅使用神经特征的模型，在分词、词性标注和命名实体识别任务上取得了最先进性能。

ABSTRACT

Neural network models have recently received heated research attention in the natural language processing community. Compared with traditional models with discrete features, neural models have two main advantages. First, they take low-dimensional, real-valued embedding vectors as inputs, which can be trained over large raw data, thereby addressing the issue of feature sparsity in discrete models. Second, deep neural networks can be used to automatically combine input features, and including non-local features that capture semantic patterns that cannot be expressed using discrete indicator features. As a result, neural network models have achieved competitive accuracies compared with the best discrete models for a range of NLP tasks. On the other hand, manual feature templates have been carefully investigated for most NLP tasks over decades and typically cover the most useful indicator pattern for solving the problems. Such information can be complementary the features automatically induced from neural networks, and therefore combining discrete and neural features can potentially lead to better accuracy compared with models that leverage discrete or neural features only. In this paper, we systematically investigate the effect of discrete and neural feature combination for a range of fundamental NLP tasks based on sequence labeling, including word segmentation, POS tagging and named entity recognition for Chinese and English, respectively. Our results on standard benchmarks show that state-of-the-art neural models can give accuracies comparable to the best discrete models in the literature for most tasks and combing discrete and neural features unanimously yield better results.

研究动机与目标

• 探究将离散的手动特征与神经特征结合是否能够提升序列标注性能，使其超越单一方法所能达到的水平。
• 系统评估特征结合在多个基础自然语言处理任务（分词、词性标注和命名实体识别）中的有效性。
• 在中文和英文的标准自然语言处理数据集上，通过神经特征整合建立最先进性能的基准。
• 发布LSTM与CRF模型的开源实现，以支持可复现性及未来研究使用。

提出的方法

• 使用条件随机场（CRF）模型并结合手工设计的离散特征，作为每个任务的基线离散模型。
• 使用独立的长短期记忆（LSTM）网络从输入序列中自动提取密集的、分布式表示的神经特征。
• 通过融合离散CRF模型与神经CRF模型的输出层，形成联合预测模型。
• 在中文和英文的标准基准数据集上端到端训练联合模型，使用交叉熵损失进行优化。
• 将词嵌入作为LSTM层的输入，以从原始文本数据中捕获低维实值表示。
• 使用标准评估指标（F1、准确率）在测试集上比较不同模型的性能。

实验结果

研究问题

• RQ1 将离散的手动特征与神经特征结合，是否能持续带来性能提升，超越仅使用单一类型特征的模型？
• RQ2 离散特征与神经特征在所捕获信息的类型上存在何种差异？它们在多大程度上具有互补性？
• RQ3 联合模型是否在分词、词性标注和命名实体识别等序列标注任务上超越最先进系统？
• RQ4 特征结合带来的性能增益是否在不同语言（中文与英文）和不同自然语言处理任务中保持一致？
• RQ5 在低资源或模糊语境下，神经特征的整合对召回率与精确率有何影响？

主要发现

• 联合模型在所有任务与语言中均持续优于仅使用离散特征或仅使用神经特征的模型，无一例外。
• 在中文分词任务中，联合模型在PKU数据集上达到95.66的F1分数，超过最佳离散模型（95.64）与最佳神经模型（95.68）。
• 在英文词性标注任务中，联合模型达到97.47%的准确率，较最先进系统（97.24%）高出0.23个百分点。
• 在中文词性标注任务中，联合模型达到95.07%的准确率，较最先进系统（94.10%）提升0.97个百分点。
• 在命名实体识别任务中，联合模型在英文上达到82.57%的F1分数，在中文上达到76.40%，均优于最先进系统（80.10%与75.02%）。
• 单个句子的F1分数分布显示，离散模型与神经模型做出了不同的预测，证实了其互补性。