[论文解读] AMR Parsing via Graph-Sequence Iterative Inference

Deng Cai, Wai Lam|arXiv (Cornell University)|Apr 12, 2020

Topic Modeling参考文献 34被引用 10

一句话总结

本文提出了一种新颖的端到端 AMR 语法分析模型，将语法分析建模为迭代的双重决策过程：选择输入序列的哪一部分进行抽象，以及在逐步构建的图中何处插入新概念。通过在序列和图推理之间建立相互因果关系并进行迭代推理，该模型在 LDC2017T10（AMR 2.0）上取得了 80.2% 的 SOTA Smatch 分数，在 LDC2014T12（AMR 1.0）上取得了 75.4% 的 SOTA 分数，即使未使用 BERT 也优于先前的方法。

ABSTRACT

We propose a new end-to-end model that treats AMR parsing as a series of dual decisions on the input sequence and the incrementally constructed graph. At each time step, our model performs multiple rounds of attention, reasoning, and composition that aim to answer two critical questions: (1) which part of the input extit{sequence} to abstract; and (2) where in the output extit{graph} to construct the new concept. We show that the answers to these two questions are mutually causalities. We design a model based on iterative inference that helps achieve better answers in both perspectives, leading to greatly improved parsing accuracy. Our experimental results significantly outperform all previously reported extsc{Smatch} scores by large margins. Remarkably, without the help of any large-scale pre-trained language model (e.g., BERT), our model already surpasses previous state-of-the-art using BERT. With the help of BERT, we can push the state-of-the-art results to 80.2\% on LDC2017T10 (AMR 2.0) and 75.4\% on LDC2014T12 (AMR 1.0).

研究动机与目标

• 解决由于对概念与关系预测之间相互依赖关系建模不足，导致在长句和复杂句中语法分析准确率较低的问题。
• 克服单次遍历、非迭代语法分析方法的局限性，这些方法无法建模概念抽象与图位置决策之间的相互因果关系。
• 开发一种模型，通过在输入序列和部分输出图上进行显式、迭代的推理，实现增量式图构建，以提高决策质量。
• 设计一种无需对齐器且在标注数据有限时仍有效的模型，避免依赖预训练对齐器或大规模预分词器。
• 通过在标准基准上显著超越先前模型的 Smatch 分数，推动 AMR 语法分析的 SOTA 水平。

提出的方法

• 该模型将每个解析步骤视为双重决策：从输入序列中选择一个文本片段进行抽象，并选择在部分构建的图中插入新概念的位置。
• 通过在关注相关输入片段和推理最合适的图位置之间交替进行迭代推理，实现多轮预测的优化。
• 使用注意力机制动态聚焦于相关输入词和图节点，序列和图模态分别使用独立的注意力头。
• 集成神经组件用于推理与组合，以在每次迭代中更新输入序列和图表示的隐藏状态。
• 模型采用具有固定推理步数的束搜索解码器，每一步均提升概念和关系预测的一致性与准确性。
• 通过逐个插入节点的方式逐步构建图结构，与现有节点的关系通过联合迭代推理确定。

实验结果

研究问题

• RQ1 与单次遍历方法相比，序列与图表示之间的迭代推理在多大程度上提升了 AMR 语法分析的准确性？
• RQ2 迭代推理步数对语法分析性能的影响如何，特别是在长句中？
• RQ3 概念抽象与图位置决策之间的相互因果关系如何促进决策的协调统一？
• RQ4 在未使用 BERT 等预训练语言模型的情况下，模型是否仍能超越先前的 SOTA 结果？
• RQ5 在所提出的迭代框架中，束大小在多大程度上影响最终的语法分析性能？

主要发现

• 所提模型在 LDC2017T10（AMR 2.0）基准上取得了 80.2% 的新 SOTA Smatch 分数，显著优于先前方法。
• 在 LDC2014T12（AMR 1.0）基准上，模型达到了 75.4% 的 Smatch 分数，相较于先前的 SOTA 结果有显著提升。
• 即使未使用 BERT，该模型仍超越了使用 BERT 的先前 SOTA 模型，证明了其迭代推理机制的有效性。
• 随着推理步数的增加，性能持续提升，尤其在长句中表现更明显，证实了迭代推理增强了对复杂输入的推理深度。
• 束大小实验表明，束大小为 2 时已捕获了大部分性能增益，表明该框架在推理中具有鲁棒性与高效性。