[论文解读] A Long Dependency Aware Deep Architecture for Joint Chinese Word Segmentation and POS Tagging.

Xinchi Chen, Xipeng Qiu+1 more|arXiv (Cornell University)|Nov 16, 2016

Natural Language Processing Techniques被引用 3

一句话总结

本文提出一种深度神经网络架构，通过整合卷积层、池化层和循环层，以建模中文分词与词性标注中的长距离依赖关系。通过结合局部特征提取与远距离上下文的循环建模，该方法在五个数据集上均优于基于窗口的方法，通过增强对长距离信息的利用，实现了性能提升。

ABSTRACT

Long-term context is crucial to joint Chinese word segmentation and POS tagging (S&T) task. However, most of machine learning based methods extract features from a window of characters. Due to the limitation of window size, these methods can not exploit the long distance information. In this work, we propose a long dependency aware deep architecture for joint S&T task. Specifically, to simulate the feature templates of traditional discrete feature based models, we use different filters to model the complex compositional features with convolutional and pooling layer, and then utilize long distance dependency information with recurrent layer. Experiment results on five different datasets show the effectiveness of our proposed model.

研究动机与目标

• 为解决基于窗口的特征提取方法在捕捉中文科学与技术（S&T）分词中长距离依赖关系方面的局限性。
• 通过在扩展上下文中建模复杂组合特征，提升中文联合分词与词性标注的性能。
• 将传统特征模板设计原则整合到使用卷积层和循环层的深度学习框架中。

提出的方法

• 利用卷积层和池化层提取类似于传统离散特征模板的局部组合特征。
• 利用循环层建模超越传统方法固定窗口大小的长距离依赖关系。
• 设计一种深度架构，结合卷积特征学习与序列建模，以提升上下文感知能力。
• 在五个不同的中文数据集上端到端训练模型，联合优化分词与词性标注。
• 利用卷积层中的滤波器多样性，捕捉字符序列中的多样化句法与形态模式。

实验结果

研究问题

• RQ1 深度学习模型能否在固定窗口之外有效捕捉中文分词与词性标注中的长距离依赖关系？
• RQ2 与纯卷积或基于窗口的模型相比，集成循环层在性能上带来了多大提升？
• RQ3 混合CNN-RNN架构在多大程度上能模拟传统特征模板，同时受益于端到端学习？

主要发现

• 所提出的模型在五个不同中文数据集上实现了联合分词与词性标注的最先进性能。
• 循环层的集成显著提升了性能，通过捕捉传统基于窗口方法所遗漏的长距离上下文依赖关系。
• 该模型优于仅依赖局部上下文窗口的传统方法，证明了长距离建模的价值。
• 卷积层中使用多个滤波器，能够有效建模字符序列中的复杂组合特征。