[论文解读] Broad-Coverage Semantic Parsing as Transduction

Sheng Zhang, Xutai Ma+2 more|arXiv (Cornell University)|Sep 5, 2019

Topic Modeling参考文献 56被引用 6

一句话总结

本文提出了一种统一的、基于注意力机制的神经转导器，用于广覆盖语义解析，通过逐步生成语义关系序列来构建语义表示，无需预训练对齐器。该方法在AMR（77.0% F1）和UCCA（76.6% F1）上达到当前最先进性能，在SDP上也具有竞争力（92.2% F1）。

ABSTRACT

We unify different broad-coverage semantic parsing tasks under a transduction paradigm, and propose an attention-based neural framework that incrementally builds a meaning representation via a sequence of semantic relations. By leveraging multiple attention mechanisms, the transducer can be effectively trained without relying on a pre-trained aligner. Experiments conducted on three separate broad-coverage semantic parsing tasks -- AMR, SDP and UCCA -- demonstrate that our attention-based neural transducer improves the state of the art on both AMR and UCCA, and is competitive with the state of the art on SDP.

研究动机与目标

• 在单一转导框架下统一处理多种广覆盖语义解析任务——AMR、SDP和UCCA。
• 解决现有解析器依赖预训练对齐器来处理无锚定语义图（如AMR）的局限性。
• 开发一种神经转导器，逐步构建语义表示，同时保持高准确率和高效率。
• 通过减少对任务特定对齐组件的依赖，实现跨框架和跨语言的适用性。
• 相比先前基于图结构和基于转换的方法，提升解析速度并减少无效图生成。

提出的方法

• 将语义解析建模为序列到序列的转导任务，模型逐步生成语义表示。
• 采用类似Transformer的编码器-解码器架构，结合多种注意力机制，以关注输入词元和先前生成的语义关系。
• 通过整合对先前边类型的记忆，强化结构一致性，减少无效图生成。
• 通过注意力机制直接从输入文本推断语义关系，实现端到端训练，无需预训练对齐器。
• 通过使用统一的表示格式并仅做最小限度的任务特异性修改，将同一框架适配于AMR、SDP和UCCA。
• 应用简单规则为UCCA中的非终结符节点分配节点标签，以提升解析性能。

实验结果

研究问题

• RQ1 单一神经转导器框架是否能在无需任务特异性对齐模型的情况下，有效处理多种广覆盖语义解析任务？
• RQ2 与基于图的方法相比，通过语义关系进行增量解析在准确率提升和无效图生成减少方面能达到何种程度？
• RQ3 所提出的转导器在AMR、SDP和UCCA上的性能与速度与最先进解析器相比如何？
• RQ4 缺乏预训练对齐器是否会对性能产生负面影响？注意力机制能否对此进行补偿？
• RQ5 该转导器是否具备跨框架泛化能力，并能支持未来的跨语言和跨框架语义解析？

主要发现

• 所提出的神经转导器在AMR上达到新的最先进水平，在LDC2017T10上取得77.0% F1，在LDC2014T12上取得71.3% F1。
• 在UCCA上，模型在English-Wiki v1.2数据集上达到76.6% F1，创下新的SOTA记录。
• 在SDP上，模型与最佳解析器相当，达到92.2% F1（在English DELPH-IN MRS数据集上）。
• 与先前最先进基于图的解析器（Zhang et al., 2019）相比，该转导器使无效图数量减少了8%。
• 解析速度提升1.7倍，在AMR 2.0测试集上达到1076 tokens/sec，优于基线的617 tokens/sec。
• 移除非终结符节点标签会使性能从76.6%降至75.7% F1，证实其对提升解析准确率具有积极影响。