[论文解读] Efficient Second-Order TreeCRF for Neural Dependency Parsing

Yu Zhang, Zhenghua Li+1 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 37被引用 7

一句话总结

本文提出了首个针对神经依赖依存分析的高效二阶TreeCRF扩展，通过GPU加速的批量内部算法与基于反向传播的外部算法，实现了端到端的全局结构学习与高阶建模。在13种语言的27个数据集上进行的实验表明，该方法在解析准确率上取得了显著提升，尤其在部分标注数据设置下表现突出，证明了结构学习与高阶建模在深度学习时代依然有效。

ABSTRACT

In the deep learning (DL) era, parsing models are extremely simplified with little hurt on performance, thanks to the remarkable capability of multi-layer BiLSTMs in context representation. As the most popular graph-based dependency parser due to its high efficiency and performance, the biaffine parser directly scores single dependencies under the arc-factorization assumption, and adopts a very simple local token-wise cross-entropy training loss. This paper for the first time presents a second-order TreeCRF extension to the biaffine parser. For a long time, the complexity and inefficiency of the inside-outside algorithm hinder the popularity of TreeCRF. To address this issue, we propose an effective way to batchify the inside and Viterbi algorithms for direct large matrix operation on GPUs, and to avoid the complex outside algorithm via efficient back-propagation. Experiments and analysis on 27 datasets from 13 languages clearly show that techniques developed before the DL era, such as structural learning (global TreeCRF loss) and high-order modeling are still useful, and can further boost parsing performance over the state-of-the-art biaffine parser, especially for partially annotated training data. We release our code at https://github.com/yzhangcs/crfpar.

研究动机与目标

• 探究传统技术如结构学习与高阶建模是否能在深度学习时代进一步提升当前最先进的双仿射依赖依存解析器的性能。
• 解决TreeCRF中内部-外部算法长期存在的低效问题，特别是外部计算部分，该问题曾严重阻碍其在神经网络模型中的应用。
• 通过高效批量处理内部算法并利用反向传播隐式计算梯度，而非显式计算外部算法，实现与双仿射解析器联合的端到端二阶TreeCRF训练。
• 评估通过TreeCRF损失实现的结构学习与通过三仿射打分实现的高阶建模对解析性能的影响，尤其在部分标注数据设置下。

提出的方法

• 通过引入三仿射层，将二阶TreeCRF扩展应用于双仿射解析器，显式打分依赖三元组（头、子节点、兄弟节点），以捕捉二阶结构依赖关系。
• 设计了一种批量内部算法，利用GPU上的大规模矩阵运算，突破了以往仅限CPU的TreeCRF训练瓶颈。
• 用反向传播隐式计算外部算法，无需显式计算外部过程，自然获得梯度与边缘概率。
• 采用全局TreeCRF损失函数优化完整的依赖树结构，提升模型置信度，并使其更贴近真实树分布。
• 在保持双仿射解析器原有高效性的基础上，将二阶TreeCRF集成到其框架中，实现局部与全局结构信号的联合优化。
• 利用TreeCRF输出的边缘概率，支持下游任务如最小贝叶斯风险解码与主动学习。

实验结果

研究问题

• RQ1 二阶结构建模与全局TreeCRF训练是否能进一步提升当前最先进的双仿射依赖依存解析器的性能？
• RQ2 内部-外部算法的计算复杂度是否仍是现代神经网络解析系统中应用TreeCRF的主要障碍？
• RQ3 在可微分端到端训练设置中，外部算法能否被反向传播有效替代？
• RQ4 通过TreeCRF损失实现的结构学习是否能带来更好的收敛性，并在部分标注数据上提升性能？
• RQ5 高阶依赖关系在多大程度上能提升解析准确率，超越BiLSTM编码器隐式捕捉的能力？

主要发现

• 所提出的二阶TreeCRF扩展显著优于标准双仿射解析器，尤其在部分标注训练数据上，27个数据集上UAS与LAS指标均实现一致提升。
• 批量内部算法实现了高效的GPU训练，大幅缩短训练时间，使TreeCRF在大规模神经依赖解析中具备可行性。
• 通过反向传播隐式计算外部算法，无需显式计算外部过程，但仍能正确获得梯度与边缘概率。
• 通过TreeCRF损失实现的结构学习带来更优的收敛行为与更高的完整树匹配率，优于仅使用局部头选择损失的模型。
• 通过三仿射打分实现的高阶建模带来可测量的性能增益，证明显式二阶建模能有效补充BiLSTM编码器的归纳偏置。
• 该模型在多个基准测试中达到最先进性能，尤其在低资源与部分标注设置下表现尤为突出。