[论文解读] Factorising AMR generation through syntax

Kris Cao, Stephen Clark|arXiv (Cornell University)|Apr 20, 2018

Topic Modeling参考文献 29被引用 11

一句话总结

本文提出一种两阶段的AMR生成模型，通过先验语法结构分解生成过程：首先从AMR图中预测一个去词汇化的短语结构树，然后将其去词汇化为表面文本。通过将句法变化与词汇选择解耦，该方法在不使用外部数据的情况下实现了单模型SOTA的AMR生成性能，并生成了比端到端模型更具语义保持性的改写句。

ABSTRACT

Generating from Abstract Meaning Representation (AMR) is an underspecified problem, as many syntactic decisions are not constrained by the semantic graph. To explicitly account for this underspecification, we break down generating from AMR into two steps: first generate a syntactic structure, and then generate the surface form. We show that decomposing the generation process this way leads to state-of-the-art single model performance generating from AMR without additional unlabelled data. We also demonstrate that we can generate meaning-preserving syntactic paraphrases of the same AMR graph, as judged by humans.

研究动机与目标

• 为解决AMR生成中固有的不明确性问题，即同一语义图可能存在多种句法实现方式。
• 通过将句法变异与词汇选择解耦，提升生成质量，实现可控且多样的改写。
• 仅使用标注数据，在不依赖外部未标注数据或复杂图神经网络结构的前提下，实现AMR到文本生成的SOTA性能。
• 通过人工评估验证，语法解耦的生成方法相比端到端模型能生成更具语义保持性的改写句。

提出的方法

• 模型采用序列到序列架构，共享AMR编码器和嵌入表示，分别用于句法模型与词汇化模型，以提升效率与泛化能力。
• 句法模型使用双向LSTM编码器和带有点积注意力的LSTM解码器，从AMR图中预测去词汇化的短语结构树。
• 词汇化模型从预测的句法树和AMR图生成表面文本，采用独立的解码器，并引入复制机制以处理罕见词和OOV（未登录词）。
• 两个模型均在线性化的AMR图和去词汇化句法树上进行端到端训练，句法模型以AMR为条件，词汇化模型则同时以AMR和句法结构为条件。
• 句法模型采用温度控制采样以生成多样化的句法结构，随后对词汇化模型采用确定性解码，以确保语法正确性与语义一致性。
• 命名实体被匿名化处理，且在解码器中集成复制机制，以支持开放词汇生成并缓解数据稀疏问题。

实验结果

研究问题

• RQ1 与端到端模型相比，通过语法结构分解AMR生成是否能提升生成性能？
• RQ2 将句法变异与词汇变异分离，是否能生成更具语义保持性的同一AMR图的改写句？
• RQ3 在不使用外部未标注数据或复杂图神经网络组件的情况下，模型性能如何？
• RQ4 预测正确句法树在多大程度上限制了整体生成性能？

主要发现

• 所提出的语法解耦模型在LDC2015E86与LDC2017T10 AMR基准上均实现了单模型SOTA性能，优于以往的端到端模型，且未使用外部数据。
• 当以黄金句法树为条件时，模型BLEU得分达到50多分，表明句法预测是性能的主要瓶颈。
• 人工评估显示，联合模型生成的改写句在语义保持性方面显著优于无语法意识的基线模型，且在可接受性与语义保真度方面表现更优。
• 通过句法模型采样多样化的句法结构，并对词汇化模型采用确定性解码，可生成语法正确且语义一致的改写句，验证了解耦方法的有效性。
• 共享编码器与复制机制的使用提升了泛化能力，有效处理罕见词，缓解了低资源AMR生成中的数据稀疏问题。