[论文解读] Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks

Liner Yang, Meishan Zhang+4 more|arXiv (Cornell University)|Apr 25, 2017

Natural Language Processing Techniques参考文献 16被引用 3

一句话总结

本文提出了一种用于词性标注（POS）和依存句法分析的联合神经网络框架，采用基于转移的系统，并使用三个专用神经分类器分别处理移位/规约决策、词性标注和依存关系标注。该方法通过端到端学习克服传统模型中特征稀疏性和不完整性的问题，在三个语料库的八种语言上显著优于先前的方法。

ABSTRACT

While part-of-speech (POS) tagging and dependency parsing are observed to be closely related, existing work on joint modeling with manually crafted feature templates suffers from the feature sparsity and incompleteness problems. In this paper, we propose an approach to joint POS tagging and dependency parsing using transition-based neural networks. Three neural network based classifiers are designed to resolve shift/reduce, tagging, and labeling conflicts. Experiments show that our approach significantly outperforms previous methods for joint POS tagging and dependency parsing across a variety of natural languages.

研究动机与目标

• 为解决传统联合词性标注与依存句法分析中手工设计特征模板存在的稀疏性和不完整性问题。
• 通过在解析过程中动态交互词汇与句法信息，而非依赖静态特征工程，提升联合性能。
• 设计一个统一的基于转移的框架，使词性标注与依存句法分析通过神经分类器联合优化。
• 通过共享表示使解析过程为标注决策提供信息，从而减少错误传播并提高标注准确率。

提出的方法

• 将基于转移的解析系统扩展为包含五种动作：Shift、Left、Right、Tag t 和 Label l，以联合建模词性标注与依存句法分析。
• 采用三个独立的神经分类器：一个用于移位/规约决策，一个用于词性标注，一个用于依存关系标注，每个分类器均使用稠密向量表示，而非稀疏特征。
• 使用双向LSTM编码词表示，并将上下文特征（如栈、缓冲区和标注历史）拼接为每个分类器的输入。
• 应用具有ReLU激活函数的多层感知机，将输入表示映射到动作得分，支持端到端训练。
• 在标注与解析组件之间集成词嵌入与隐藏状态，以实现相互监督与误差减少。
• 采用联合解码策略，在每一步基于解析、标注与标注决策的最高得分组合选择动作。

实验结果

研究问题

• RQ1 基于转移的神经网络能否比传统基于特征的方法更有效地联合建模词性标注与依存句法分析？
• RQ2 使用神经分类器进行端到端学习是否能减轻联合解析中特征稀疏性与不完整性的负面影响？
• RQ3 标注与解析之间的交互相比级联或独立建模方式，如何提升整体性能？
• RQ4 在联合框架中，句法信息对标注的贡献与词汇信息对解析的贡献相比，各自的作用如何？

主要发现

• 所提方法在三个语料库的八种自然语言上实现了词性标注与依存句法分析的最先进性能。
• 该模型显著优于以往依赖手工设计特征模板的联合模型，尤其在处理模糊标注情况时表现更优。
• 禁用标注与解析之间的交互会导致标注与解析准确率均显著下降，证实了联合学习的优势。
• 向解析提供标注信息（tag → parse）带来的性能增益大于向标注提供解析信息（tag ← parse），原因在于标注歧义具有局部性，而解析依赖长距离依赖。
• 即使从标注分类器中移除句法特征，模型仍保持强性能，表明通过共享表示具备良好鲁棒性。
• 消融研究证实，联合架构可减少错误传播并提升泛化能力，尤其在低资源设置下表现更优。