[论文解读] AMR Parsing as Sequence-to-Graph Transduction

Sheng Zhang, Xutai Ma+2 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 64被引用 10

一句话总结

本文提出了一种新颖的序列到图转换框架用于AMR解析，将AMR解析视为两阶段过程：首先预测节点，然后预测边，采用带有注意力机制的扩展指针-生成网络。该模型无需对齐器，在有限标注数据上可有效训练，并在AMR 2.0上达到76.3%的Smatch得分，在AMR 1.0上达到70.2%的Smatch得分。

ABSTRACT

We propose an attention-based model that treats AMR parsing as sequence-to-graph transduction. Unlike most AMR parsers that rely on pre-trained aligners, external semantic resources, or data augmentation, our proposed parser is aligner-free, and it can be effectively trained with limited amounts of labeled AMR data. Our experimental results outperform all previously reported SMATCH scores, on both AMR 2.0 (76.3% F1 on LDC2017T10) and AMR 1.0 (70.2% F1 on LDC2014T12).

研究动机与目标

• 通过将解析建模为序列到图的转换来解决AMR图中的重用性问题。
• 克服现有AMR解析器对预训练对齐器、外部语义资源或数据增强的依赖。
• 通过设计端到端、无需对齐器的架构，实现在有限标注AMR数据上的有效训练。
• 通过引入基于前序遍历和子节点字母数字排序的新型节点线性化策略，提升解析性能。
• 在无需黄金对齐或外部资源的情况下，在标准AMR基准上展示优越性能。

提出的方法

• 将AMR解析形式化为两阶段任务：首先预测带有索引分配的节点序列，然后预测构成有效解析树的边。
• 在每个解码步骤中，使用扩展指针-生成网络预测节点，该网络包含源端复制、目标端复制和词汇生成。
• 应用注意力机制以关注输入词和先前生成的节点，实现上下文感知的节点生成。
• 通过在树状结构中复制节点并为其分配相同索引来表示重用性，从而通过索引合并恢复原始图。
• 使用前序遍历结合子节点的字母数字排序对AMR树进行线性化，提升模型泛化能力和性能。
• 采用BERT嵌入与平均池化对输入句子进行编码，在消融实验中表现优于最大池化。

实验结果

研究问题

• RQ1 端到端、无需对齐器的模型是否能在不依赖预训练对齐器或外部语义资源的情况下实现AMR解析的SOTA性能？
• RQ2 节点线性化策略的选择——特别是前序遍历结合子节点字母数字排序——与基于对齐或纯对齐顺序相比，对解析性能有何影响？
• RQ3 不同节点生成来源（词汇、源端复制、目标端复制）对节点预测准确率和整体Smatch得分的贡献程度如何？
• RQ4 在AMR解析中，BERT嵌入的平均池化是否比最大池化带来更好的性能表现？
• RQ5 在低资源设置下，由于该模型专为有限标注数据设计，其性能如何随数据量变化而变化？

主要发现

• 所提模型在LDC2017T10 AMR 2.0测试集上实现了76.3%的新SOTA Smatch得分，超越了所有先前报告的结果。
• 在LDC2014T12 AMR 1.0基准上，模型实现了70.2%的Smatch得分，同样创下新SOTA。
• 前序遍历结合子节点字母数字排序的线性化策略优于基于对齐或纯对齐顺序的策略，在AMR 1.0上性能提升超过5个百分点。
• 源端复制对节点预测贡献最大，47.6%的参考节点通过此方式生成，其精确率（85.7%）和召回率（82.4%）在所有来源中最高。
• BERT嵌入的平均池化在AMR 1.0上实现70.2%的性能，在AMR 2.0上实现76.3%的性能，略优于最大池化，平均F1提升0.2%。
• 消融实验确认，所提出的节点线性化和扩展指针-生成组件对性能至关重要，移除后性能显著下降。