[论文解读] Is POS Tagging Necessary or Even Helpful for Neural Dependency Parsing?

Houquan Zhou, Zhang Yu+2 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques参考文献 27被引用 7

一句话总结

本文研究了在深度学习时代，尤其是使用字符级表示时，词性标注（POS）对神经网络依存句法分析是否仍然有益。通过在英语和中文数据集上使用三种多任务学习框架——Share-Loose、Share-Tight 和 Stack，研究发现，当通过 Stack 方法联合训练时，即使使用 BERT 和异构 POS 数据，词性标注也能显著提升句法分析的准确率，原因在于减少了对句法敏感标签的歧义性。

ABSTRACT

In the pre deep learning era, part-of-speech tags have been considered as indispensable ingredients for feature engineering in dependency parsing. But quite a few works focus on joint tagging and parsing models to avoid error propagation. In contrast, recent studies suggest that POS tagging becomes much less important or even useless for neural parsing, especially when using character-based word representations. Yet there are not enough investigations focusing on this issue, both empirically and linguistically. To answer this, we design and compare three typical multi-task learning framework, i.e., Share-Loose, Share-Tight, and Stack, for joint tagging and parsing based on the state-of-the-art biaffine parser. Considering that it is much cheaper to annotate POS tags than parse trees, we also investigate the utilization of large-scale heterogeneous POS tag data. We conduct experiments on both English and Chinese datasets, and the results clearly show that POS tagging (both homogeneous and heterogeneous) can still significantly improve parsing performance when using the Stack joint framework. We conduct detailed analysis and gain more insights from the linguistic aspect.

研究动机与目标

• 探究在深度学习时代，尤其是使用字符级表示时，词性标注是否仍对神经网络依存句法分析具有实际价值。
• 比较不同多任务学习框架（Share-Loose、Share-Tight、Stack）在联合词性标注与依存句法分析中的表现。
• 评估同质化与大规模异构 POS 标注数据对句法分析性能的影响。
• 为词性标注为何在字符级词表示技术进步的背景下仍具帮助提供语言学与实证层面的深入见解。

提出的方法

• 在先进的双仿射依存句法解析器基础上，设计并实现三种多任务学习框架——Share-Loose、Share-Tight 和 Stack。
• 使用词嵌入和字符级 LSTM（CharLSTM）表示作为输入特征，以建模词级语义与形态信息。
• 应用 Stack 框架，即将词性标注头的隐藏表示作为额外输入馈送到句法解析头，从而实现解析损失对标注组件的间接反向传播。
• 在英语（PTB）和中文（CTB、PKU）基准数据集上进行训练，使用同质化（共同标注）和异构化（独立标注）的 POS 标签。
• 通过消融研究与语言学分析，评估 POS 标签歧义性对句法分析性能的影响。

实验结果

研究问题

• RQ1 当使用字符级词表示时，词性标注是否仍能提升依存句法分析的性能？
• RQ2 不同多任务学习框架（Share-Loose、Share-Tight、Stack）在联合词性标注与句法解析中的表现如何比较？
• RQ3 大规模异构 POS 标注数据（其生成成本较低）是否仍能提升句法分析的准确率？
• RQ4 尽管 CharLSTM 已显著降低数据稀疏性并增强形态建模能力，为何词性标注仍具帮助？

主要发现

• Stack 多任务学习框架在所有数据集上均持续优于流水线方法及其他联合方法，在 UAS 和 LAS 上均取得最高提升。
• 使用异构 POS 数据（如中文的 PKU）进行词性标注能显著提升句法分析性能，尤其在与 Stack 框架结合时效果更佳。
• 通过 Stack 方法进行联合训练可减少错误传播，并更有效地处理对句法敏感的 POS 标签歧义，如 {NN, VV} 和 {VV, AD}，否则这些歧义会导致句法分析准确率大幅下降。
• 即使使用 BERT，词性标注在 Stack 框架下仍具显著优势，表明 POS 标签提供了超越上下文嵌入的互补句法归纳偏置。
• 语言学分析表明，句法分析错误常与错误的词性标注相关，尤其是对句法敏感的标签对，证实了二者之间存在强烈依赖关系。