[论文解读] A Graph-to-Sequence Model for AMR-to-Text Generation

Linfeng Song, Yue Zhang+2 more|arXiv (Cornell University)|May 7, 2018

Topic Modeling参考文献 30被引用 32

一句话总结

本文提出一种图到序列的模型，通过一种新颖的图状态LSTM直接编码AMR图，以保留结构语义，在标准基准上相比序列到序列基线模型提升2.3 BLEU分数，达到23.3的新SOTA BLEU得分。

ABSTRACT

The problem of AMR-to-text generation is to recover a text representing the same meaning as an input AMR graph. The current state-of-the-art method uses a sequence-to-sequence model, leveraging LSTM for encoding a linearized AMR structure. Although being able to model non-local semantic information, a sequence LSTM can lose information from the AMR graph structure, and thus faces challenges with large graphs, which result in long sequences. We introduce a neural graph-to-sequence model, using a novel LSTM structure for directly encoding graph-level semantics. On a standard benchmark, our model shows superior results to existing methods in the literature.

研究动机与目标

• 解决序列到序列模型在线性化过程中保留AMR图结构的局限性。
• 通过直接建模图级语义而非依赖序列化序列，改进AMR到文本生成。
• 克服现有基于序列的方法因线性化导致的长序列和非局部依赖性问题。
• 证明图结构编码相较于基于序列的编码在语义文本生成任务中的优越性。
• 通过新颖的图LSTM架构，在标准AMR到文本基准上实现SOTA性能。

提出的方法

• 提出一种图状态LSTM编码器，通过保持节点状态和细胞向量来捕捉AMR图中的长距离依赖关系。
• 执行迭代且并行的图状态转换，使相连节点交换信息，以传播非局部语义。
• 在图状态更新中使用门控循环单元，以防止信息传递过程中的梯度消失和爆炸。
• 采用基于注意力机制的LSTM解码器，并引入复制机制，以处理罕见或未登录词（如命名实体）。
• 通过双向LSTM引入字符级嵌入，以改善词表示并减少数据稀疏性。
• 在LDC2015E86数据集上端到端训练模型，可选地在Gigaword单语数据上进行微调。

实验结果

研究问题

• RQ1 能否证明一种直接编码AMR结构的图到序列模型在AMR到文本生成任务中优于序列到序列模型？
• RQ2 与线性化序列编码器相比，图状态LSTM在保留AMR图中非局部语义关系方面的有效性如何？
• RQ3 所提模型在因序列化导致的性能退化方面，对长或复杂AMR图的改善程度如何？
• RQ4 在AMR到文本生成中，引入复制机制是否能提升对罕见或未登录词的生成效果？
• RQ5 当在大规模单语数据上进行训练时，图状态LSTM模型是否比基于序列的模型具有更好的泛化能力？

主要发现

• 所提图到序列模型在标准LDC2015E86测试集上达到23.3的BLEU得分，比之前的SOTA高出1.3 BLEU分数。
• 与强大的序列到序列基线相比，该模型在BLEU得分上提升了2.3分，证明了直接图编码的优势。
• 在Gigaword单语数据上微调后，该模型在使用相同训练数据的情况下，持续优于先前的SOTA方法。
• 图状态LSTM能够更有效地在远距离节点间传播信息，减轻了序列化对长AMR图的负面影响。
• 复制机制的引入显著提升了命名实体和罕见词的生成效果，这一结论在定性输出中得到验证。
• 由于图状态转换具有并行性，该模型相比基于序列的RNN编码器展现出更高的并行化效率。