[论文解读] Deep Biaffine Attention for Neural Dependency Parsing

Timothy Dozat, Christopher D. Manning|arXiv (Cornell University)|Nov 4, 2016

Natural Language Processing Techniques被引用 551

一句话总结

该论文提出了一种基于图的神经依赖解析器中的深度双线性注意力机制，结合双向LSTM和广泛的正则化方法。在英语PTB数据集上，该方法实现了95.7%的UAS和94.1%的LAS，分别比之前的基于图的解析器高出1.8%和2.2%，并达到最佳基于转移的模型水平。

ABSTRACT

This paper builds off recent work from Kiperwasser & Goldberg (2016) using neural attention in a simple graph-based dependency parser. We use a larger but more thoroughly regularized parser than other recent BiLSTM-based approaches, with biaffine classifiers to predict arcs and labels. Our parser gets state of the art or near state of the art performance on standard treebanks for six different languages, achieving 95.7% UAS and 94.1% LAS on the most popular English PTB dataset. This makes it the highest-performing graph-based parser on this benchmark---outperforming Kiperwasser Goldberg (2016) by 1.8% and 2.2%---and comparable to the highest performing transition-based parser (Kuncoro et al., 2016), which achieves 95.8% UAS and 94.6% LAS. We also show which hyperparameter choices had a significant effect on parsing accuracy, allowing us to achieve large gains over other graph-based approaches.

研究动机与目标

• 通过更深层次、更充分正则化的架构，提升基于图的神经依赖解析性能。
• 通过引入双线性分类器进行弧和标签预测，解决先前基于注意力的解析器的局限性。
• 在六种不同语言上实现SOTA或接近SOTA的结果。
• 识别显著影响解析准确率的超参数选择，从而实现系统性的性能提升。

提出的方法

• 使用双向LSTM将输入句子编码为上下文相关的表示。
• 使用双线性打分函数同时预测依赖弧及其对应标签。
• 应用广泛的正则化技术，防止深层网络过拟合。
• 集成深层架构，通过多层增强表示学习能力。
• 采用基于图的解码策略，选择得分最高的依赖树。
• 使用结构化预测损失对模型进行端到端优化，以实现依赖解析。

实验结果

研究问题

• RQ1 是否可以通过采用更深层、更充分正则化的基于图的解析器并引入双线性注意力机制，在依赖解析基准测试中超越现有SOTA模型？
• RQ2 在该架构中，哪些超参数选择对解析准确率影响最大？
• RQ3 该模型在多种语言上与SOTA基于图和基于转移的解析器相比表现如何？
• RQ4 双线性注意力在神经依赖解析中对联合弧和标签预测的提升程度如何？

主要发现

• 所提出的解析器在英语PTB数据集上实现了95.7%的UAS和94.1%的LAS，为基于图的解析器设定了新的SOTA标准。
• 相比Kiperwasser & Goldberg（2016）的模型，UAS提升1.8%，LAS提升2.2%，表现出显著的性能提升。
• 该模型性能与最高性能的基于转移的解析器（Kuncoro et al., 2016）相当，后者实现了95.8%的UAS和94.6%的LAS。
• 超参数调优，尤其是正则化和网络深度的选择，对解析准确率有显著影响，使基于图的方法相比之前版本获得大幅性能提升。