[论文解读] An improved neural network model for joint POS tagging and dependency parsing

Dat Quoc Nguyen, Karin Verspoor|arXiv (Cornell University)|Jul 11, 2018

Topic Modeling参考文献 47被引用 20

一句话总结

该论文提出了一种联合神经网络模型，将基于BiLSTM的POS标注器与BIST基于图的依存句法解析器相结合，同时提升了标注和解析性能。在英语Penn Treebank数据集上，该模型取得了SOTA结果，UAS为94.51%，LAS为92.87%，POS准确率为97.97%，优于先前模型，并在多语言解析和下游NLP应用中表现出显著提升。

ABSTRACT

We propose a novel neural network model for joint part-of-speech (POS) tagging and dependency parsing. Our model extends the well-known BIST graph-based dependency parser (Kiperwasser and Goldberg, 2016) by incorporating a BiLSTM-based tagging component to produce automatically predicted POS tags for the parser. On the benchmark English Penn treebank, our model obtains strong UAS and LAS scores at 94.51% and 92.87%, respectively, producing 1.5+% absolute improvements to the BIST graph-based parser, and also obtaining a state-of-the-art POS tagging accuracy at 97.97%. Furthermore, experimental results on parsing 61 "big" Universal Dependencies treebanks from raw texts show that our model outperforms the baseline UDPipe (Straka and Straková, 2017) with 0.8% higher average POS tagging score and 3.6% higher average LAS score. In addition, with our model, we also obtain state-of-the-art downstream task scores for biomedical event extraction and opinion analysis applications. Our code is available together with all pre-trained models at: https://github.com/datquocnguyen/jPTDP

研究动机与目标

• 为解决因自动POS标注不完善导致的依存句法解析中的误差传播问题，通过联合学习POS标签和依存结构来解决。
• 通过将基于BiLSTM的标注组件集成到BIST基于图的解析器架构中，提升解析性能。
• 在内在的句法解析和POS标注任务以及下游NLP应用中均实现SOTA性能。
• 通过在61个Universal Dependencies语料库中使用原始文本，证明模型在跨语言任务中的泛化能力。
• 为低资源和生物医学NLP场景中的联合解析与标注任务建立一个强大且可复用的基线。

提出的方法

• 该模型采用双组件架构：基于BiLSTM的标注组件，从词和字符级嵌入中预测POS标签。
• 词表示通过将预训练的GloVe词嵌入与基于字符序列的BiLSTM生成的字符级表示拼接而成。
• 解析组件使用独立的BiLSTM对输入词和预测的POS标签进行编码，生成用于弧预测的潜在表示。
• 通过多层感知机（MLP）对潜在表示进行弧预测，另一MLP用于弧标签预测。
• 模型采用端到端训练，POS标注使用交叉熵损失，依存句法解析采用类似CRF的结构化解码。
• 联合训练过程使标注组件能从解析监督中获益，反之亦然，从而同时提升两个任务的性能。

实验结果

研究问题

• RQ1 与独立建模相比，联合学习POS标注和依存句法解析是否能提升两个任务的性能？
• RQ2 将基于BiLSTM的标注器集成到基于图的解析器中，是否能带来更高的解析准确率和POS标注准确率？
• RQ3 该联合模型在使用Universal Dependencies语料库的多语言原始文本解析任务中表现如何？
• RQ4 该联合模型是否能在下游应用（如生物医学事件抽取和观点分析）中实现SOTA结果？
• RQ5 更高的内在解析性能是否总是带来更好的下游应用性能？

主要发现

• 在英语Penn Treebank上，该模型实现了94.51%的UAS和92.87%的LAS，相比BIST解析器绝对提升超过1.5个百分点。
• 该模型在基准测试中达到了97.97%的POS标注准确率，创下新SOTA记录。
• 在61个大型Universal Dependencies语料库上，该模型在平均POS标注F1上比UDPipe高出0.8%，UAS高出3.1%，LAS高出3.6%。
• 在CoNLL 2018共享任务中，该模型在三个下游任务（包括生物医学事件抽取和观点分析）中均取得了最高的非官方F1分数。
• 尽管训练数据少于2017年EPE任务的最高分系统，该模型在事件抽取和观点分析中的F1分数仍更高，表明内在解析质量并不总是能预测下游性能。
• 该模型的代码和预训练权重已公开，获取地址为 https://github.com/datquocnguyen/jPTDP。