[论文解读] Fast(er) Exact Decoding and Global Training for Transition-Based Dependency Parsing via a Minimal Feature Set

Tianze Shi, Liang Huang+1 more|arXiv (Cornell University)|Aug 30, 2017

Natural Language Processing Techniques被引用 9

一句话总结

本文提出一种仅含两个位置的双向LSTM特征集，用于基于转移的依存句法分析，实现了首个O(n³)精确解码与全局训练，适用于arc-hybrid和arc-eager系统。通过大幅降低特征复杂度而保持性能，该方法在中文语料库上取得SOTA的无标注依存准确率（90.22 UAS），在宾州语料库上取得第二好的表现（95.33 UAS）。

ABSTRACT

We first present a minimal feature set for transition-based dependency parsing, continuing a recent trend started by Kiperwasser and Goldberg (2016a) and Cross and Huang (2016a) of using bi-directional LSTM features. We plug our minimal feature set into the dynamic-programming framework of Huang and Sagae (2010) and Kuhlmann et al. (2011) to produce the first implementation of worst-case O(n^3) exact decoders for arc-hybrid and arc-eager transition systems. With our minimal features, we also present O(n^3) global training methods. Finally, using ensembles including our new parsers, we achieve the best unlabeled attachment score reported (to our knowledge) on the Chinese Treebank and the "second-best-in-class" result on the English Penn Treebank.

研究动机与目标

• 开发一种最小但有效的特征集，用于基于转移的依存句法分析，以实现精确解码与全局训练。
• 通过最小化位置特征，将arc-hybrid与arc-eager系统中精确解码的计算复杂度从O(n⁶)降低至O(n³)。
• 通过在基于转移的系统中实现精确解码与全局优化，弥合基于转移与基于图的句法分析之间的差距。
• 证明最小双向LSTM特征在准确率与效率方面均优于更大的特征集。

提出的方法

• 提出仅包含两个双向LSTM向量的最小特征集：一个用于栈顶（s₀），一个用于缓冲区第一个词元（b₀）。
• 将此最小特征集嵌入Huang和Sagae（2010）以及Kuhlmann等人（2011）的动态规划框架中，将最坏情况下的解码时间降至O(n³)。
• 通过使用相同的最小特征集，实现全局训练，使优化覆盖整个解析空间，而非仅依赖局部决策。
• 采用全局训练并精确解码的解析器集成模型，以提升在基准数据集上的泛化能力与性能。
• 利用双向LSTM捕捉丰富的上下文信息，而无需依赖大量位置特征。
• 将Huang和Sagae（2010）以及Kuhlmann等人（2011）的理论框架适配至最小特征集，确保精确解码在计算上可行。

实验结果

研究问题

• RQ1 仅由两个双向LSTM向量（s₀与b₀）构成的最小特征集，是否能在大幅降低计算复杂度的同时保持高句法分析准确率？
• RQ2 能否在arc-hybrid与arc-eager基于转移的系统中，利用最小特征集实现O(n³)的精确解码？
• RQ3 使用最小特征集进行全局训练，是否能相比局部训练提升基于转移的句法分析性能？
• RQ4 所提方法是否能在标准依存句法分析基准（如中文语料库与宾州语料库）上达到SOTA结果？
• RQ5 在准确率与效率方面，最小特征集与更大特征集相比表现如何？

主要发现

• 仅由两个双向LSTM向量（s₀与b₀）构成的最小特征集，在英文宾州语料库开发集上达到94.08%的UAS，优于更大的特征集，并接近更复杂模型的性能。
• 所提方法使arc-hybrid与arc-eager系统实现O(n³)精确解码，将此前的O(n⁶)复杂度降至可接受的运行时间。
• 使用最小特征集进行全局训练可提升性能，其集成模型在中文语料库上达到90.22%的UAS，为目前依赖关系解析方法报告的最高值。
• 在宾州语料库上，集成模型达到95.33%的UAS，为依赖关系解析方法中第二高的结果。
• 最小特征集优于单位置特征，且在特征被移除时性能下降显著减少，体现出更强的鲁棒性与效率。
• 该方法成功将精确解码与全局训练整合进基于转移的句法分析范式中，此前该领域主要由基于图的方法主导。