[论文解读] Dependency Parsing as MRC-based Span-Span Prediction

Leilei Gan, Yuxian Meng+5 more|arXiv (Cornell University)|May 17, 2021

Natural Language Processing Techniques被引用 5

一句话总结

该论文提出了一种新颖的依存句法分析框架，通过将跨度-跨度关系建模替代传统的词-词关系，将跨度链接问题转化为机器阅读理解（MRC）任务。采用两阶段方法——跨度提议后接基于MRC的跨度链接——该方法在PTB、CTB和通用依存（UD）基准上实现了最先进性能，展现出对长距离依赖和缺失跨度的优越处理能力。

ABSTRACT

Higher-order methods for dependency parsing can partially but not fully address the issue that edges in dependency trees should be constructed at the text span/subtree level rather than word level. In this paper, we propose a new method for dependency parsing to address this issue. The proposed method constructs dependency trees by directly modeling span-span (in other words, subtree-subtree) relations. It consists of two modules: the {\it text span proposal module} which proposes candidate text spans, each of which represents a subtree in the dependency tree denoted by (root, start, end); and the {\it span linking module}, which constructs links between proposed spans. We use the machine reading comprehension (MRC) framework as the backbone to formalize the span linking module, where one span is used as a query to extract the text span/subtree it should be linked to. The proposed method has the following merits: (1) it addresses the fundamental problem that edges in a dependency tree should be constructed between subtrees; (2) the MRC framework allows the method to retrieve missing spans in the span proposal stage, which leads to higher recall for eligible spans. Extensive experiments on the PTB, CTB and Universal Dependencies (UD) benchmarks demonstrate the effectiveness of the proposed method. The code is available at \url{https://github.com/ShannonAI/mrc-for-dependency-parsing}

研究动机与目标

• 解决基于词的依存句法分析的根本局限，即边被建模为词与词之间的关系，而非子树之间的关系。
• 克服基于图的模型将依存边视为词对关系的不足，此类方法无法捕捉真实的子树级依赖关系。
• 通过在链接阶段检索被遗漏的跨度，提升可接受跨度的召回率。
• 利用最先进MRC模型的表达能力，提升跨度链接性能。
• 证明在长序列和长距离依赖场景下，跨度-跨度建模相较于词-词建模更具优势。

提出的方法

• 提出一个两模块框架：(1) 文本跨度提议模块，生成代表潜在子树的候选跨度（根、起始、结束）。
• 将跨度链接模块形式化为机器阅读理解（MRC）任务，其中一个跨度作为查询，用于检索其关联的父跨度或子跨度。
• 使用预训练的MRC模型（如BERT）基于查询-跨度上下文对候选跨度进行打分并提取最相关结果。
• 引入一个相互依赖模块，在打分函数中同时建模子到父和父到子的关系。
• 设计一个打分函数，结合查询跨度和答案跨度的跨度表示，支持端到端训练。
• 应用可微的生成树解码策略，从预测的链接构建最终的依存树。

实验结果

研究问题

• RQ1 与基于词-词关系的建模相比，是否通过在跨度-子树层面建模依存关系能够带来更好的句法分析性能？
• RQ2 与标准的跨度提议方法相比，使用MRC形式化跨度链接在提升召回率和鲁棒性方面有多大改善？
• RQ3 与基于词的基线模型相比，该方法在处理长距离依赖和长跨度时表现如何？
• RQ4 打分函数中各组件（如词-词 vs. 点-跨度）对整体性能的贡献如何？
• RQ5 基于MRC的链接阶段是否能有效恢复提议阶段遗漏的跨度？

主要发现

• 所提方法在PTB、CTB和通用依存（UD）基准上取得新的最先进结果，PTB测试开发集上达到97.18 UAS和95.43 LAS。
• 跨度链接阶段显著提升了跨度召回率，尤其在提议模块遗漏有效跨度时表现突出，且在候选跨度较少时仍保持高性能。
• 从打分函数中移除基于跨度的组件后，性能出现明显下降：词-查询/词-答案设置使UAS下降0.57，LAS下降0.34。
• 在长句（长度 > 50）上，该模型优于双仿射（Biaffine）解析器，后者性能从0.97骤降至0.964，而本模型保持稳定。
• 该模型在长依存距离和长子树跨度上表现尤为突出，证实了在复杂句法结构中，基于跨度的建模更具有效性。
• 相互依赖模块通过捕捉双向关系提升了性能，移除后UAS下降0.06，LAS下降0.06。