[论文解读] Dependency Parsing as Head Selection

Xingxing Zhang, Jianpeng Cheng+1 more|arXiv (Cornell University)|Jun 3, 2016

Topic Modeling参考文献 52被引用 5

一句话总结

该论文提出 DeNSe，一种神经依赖解析器，将依存解析建模为使用双向LSTM特征的每个词独立头选择，无需在训练过程中施加结构约束，即可在四种语言（英语、中文、捷克语、德语）上实现最先进性能。尽管方法简单，DeNSe 仍能为 87–97% 的句子生成有效树，并取得具有竞争力的 UAS 和 LAS 分数，通过使用 Chu-Liu-Edmonds 或 Eisner 算法进行后处理可实现微小提升。

ABSTRACT

Conventional graph-based dependency parsers guarantee a tree structure both during training and inference. Instead, we formalize dependency parsing as the problem of independently selecting the head of each word in a sentence. Our model which we call extsc{DeNSe} (as shorthand for {\bf De}pendency {\bf N}eural {\bf Se}lection) produces a distribution over possible heads for each word using features obtained from a bidirectional recurrent neural network. Without enforcing structural constraints during training, extsc{DeNSe} generates (at inference time) trees for the overwhelming majority of sentences, while non-tree outputs can be adjusted with a maximum spanning tree algorithm. We evaluate extsc{DeNSe} on four languages (English, Chinese, Czech, and German) with varying degrees of non-projectivity. Despite the simplicity of the approach, our parsers are on par with the state of the art.

研究动机与目标

• 开发一种简单而有效的神经依赖解析器，避免在训练过程中引入复杂的结构约束。
• 探究基于神经特征的独立头选择是否能在不强制学习过程中保持树结构的前提下，实现具有竞争力的解析性能。
• 评估模型在具有不同非投射性程度的多种语言上的鲁棒性。
• 评估使用最大生成树算法对非树输出进行后处理的有效性。
• 在多个基准数据集上，将 DeNSe 的性能与最先进图基和转换基解析器进行比较。

提出的方法

• DeNSe 使用双向循环神经网络（LSTM）编码词表示，并独立预测每个词的头。
• 该模型基于学习到的特征为每个词输出可能头的分布，训练过程中不强制要求树结构。
• 推理阶段，解析器在绝大多数句子（87–97%）中无需后处理即可生成依存树。
• 对非树输出，使用 Chu-Liu-Edmonds 算法处理非投射树，使用 Eisner 算法处理投射树。
• 模型使用基于边缘权重的边缘选择分数的边际学习算法进行训练。
• 特征表示源自词嵌入和词性标注，无需大量人工特征工程。

实验结果

研究问题

• RQ1 是否可以在不强制训练过程中施加结构约束的前提下，将依存解析有效建模为每个词的独立头选择？
• RQ2 基于双向LSTM特征的神经模型在多种语言上的性能与最先进解析器相比如何？
• RQ3 在不损害性能的前提下，最大生成树算法能在多大程度上纠正非树输出？
• RQ4 该方法在具有不同非投射性程度的语言之间是否具有泛化能力？
• RQ5 与高阶和复杂解码模型相比，DeNSe 在准确率和效率方面表现如何？

主要发现

• DeNSe 在 CoNLL 2006 和 PTB 数据集上达到最先进性能，英语测试集上 UAS 为 89.58%，LAS 为 89.60%。
• 在 CTB 数据集上，DeNSe 的 UAS 为 89.42%，LAS 为 86.48%，优于先前的神经模型。
• 在捷克语和德语上，DeNSe 超过所有一阶图基解析器，并在德语上与 Turbo-3rd 等高阶模型相当或更优，在捷克语上与 RBG-3rd 模型相当或更优。
• 使用 Chu-Liu-Edmonds 算法进行后处理平均提升 0.21% 的性能，计算成本极低。
• 在 PTB 上，DeNSe 为 95.1% 的句子生成有效依存树，CTB 上为 87.0%；其中分别为 86.6% 和 73.1% 的树为投射树。
• 该模型在长句上的表现依然强劲，优于先前模型如 C&M14 和 Dyer15。