[论文解读] Arc-swift: A Novel Transition System for Dependency Parsing

Peng Qi, Christopher D. Manning|arXiv (Cornell University)|May 12, 2017

Topic Modeling参考文献 10被引用 3

一句话总结

本文提出 arc-swift，一种用于依存句法分析的新型转移系统，可在单步转移中实现远距离标记之间的直接、非局部依存连接，无需经过冗长的局部移动序列，从而减少错误。通过更直接地利用全局词汇信息，arc-swift 在 Penn Treebank 和英语 Universal Dependencies 数据集上实现了 3.7–7.6% 的相对错误率降低，显著优于现有系统，即使使用极小的束搜索大小也表现优异。

ABSTRACT

Transition-based dependency parsers often need sequences of local shift and reduce operations to produce certain attachments. Correct individual decisions hence require global information about the sentence context and mistakes cause error propagation. This paper proposes a novel transition system, arc-swift, that enables direct attachments between tokens farther apart with a single transition. This allows the parser to leverage lexical information more directly in transition decisions. Hence, arc-swift can achieve significantly better performance with a very small beam size. Our parsers reduce error by 3.7--7.6% relative to those using existing transition systems on the Penn Treebank dependency parsing task and English Universal Dependencies.

研究动机与目标

• 为解决传统系统中长距离依存连接需要冗长且不直观的转移序列这一挑战。
• 通过引入包含全局句子上下文的解析决策，而非依赖局部、逐步的转移，减少错误传播。
• 通过在单步操作中直接连接远距离标记，提升解析准确率，尤其针对介词短语和并列连词的处理。
• 设计一种避免虚假歧义且仅使用标准解析器状态即可轻松实现的转移系统，与以往需要复杂数据结构的扩展不同。

提出的方法

• arc-swift 引入两种新型转移操作：LArc[k] 和 RAcc[k]，允许栈中的某个标记直接连接到句子中任意位置的依赖词，其中 k 表示参与的栈元素数量。
• 该系统通过允许右弧或左弧不仅作用于栈顶，还可作用于栈顶的前 k 个元素，从而在一步之内将缓冲区中的标记与栈中第 k 个元素建立连接。
• 解析器状态表示为 (σ | i_k | ... | i_1, j | β, A)，其中 σ 为栈，i_k 到 i_1 为栈元素，j 为缓冲区头部，A 为弧的集合。
• 转移规则定义为：LArc[k] 将第 k 个栈元素连接到缓冲区标记 j，RArc[k] 将 j 连接到第 k 个栈元素，相应地更新状态。
• 该方法支持束搜索解码，且束大小极小（如 1–2），但性能依然出色，原因在于大幅减少了对顺序性、易出错决策的依赖。
• 该系统设计为与标准基于转移的解析框架后向兼容，无需修改底层分类器或特征表示。

实验结果

研究问题

• RQ1 一种允许远距离标记之间直接、非局部连接的转移系统，是否能提升依存句法分析的准确率？
• RQ2 在单步内实现长距离连接，是否相比顺序性的局部转移能更有效地减少错误传播？
• RQ3 arc-swift 在处理介词短语和并列连词等复杂结构时，性能提升程度如何？
• RQ4 arc-swift 是否能在极小束大小下实现高性能，表明其对大规模搜索的依赖性较低？

主要发现

• 与使用现有转移系统的解析器相比，arc-swift 解析器在 Penn Treebank 依存句法分析任务中实现了 3.7–7.6% 的相对错误率降低。
• 在英语 Universal Dependencies 数据集上，arc-swift 同样实现了类似的相对错误率降低，表明其在不同数据集和标注方案下的鲁棒性。
• 该系统在介词短语和并列连词的依存连接方面表现出显著的准确率提升，而这些结构在传统系统中常被错误解析。
• 即使束大小为 1，arc-swift 也能实现具有竞争力的性能；当束大小为 2 时，其性能甚至超过 arc-eager 系统的贪心解码，表明其高效且有效。
• 语言学分析显示，arc-swift 显著减少了常见结构（如介词短语连接和并列连词）中的错误，同时在其他错误类型上保持了相近的性能水平。
• 该方法避免了虚假歧义，并且仅使用标准解析器状态即可轻松实现，与以往需要追踪主干或额外数据结构的系统不同。