[论文解读] Modeling Graph Structure in Transformer for Better AMR-to-Text Generation

Jie Zhu, Junhui Li+4 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 32被引用 7

一句话总结

本文提出了一种结构感知的自注意力机制，用于Transformer模型，以通过捕捉抽象意义表示（AMR）图中间接连接概念之间的长距离依赖关系，提升AMR到文本的生成效果。通过在直接边之外引入概念对的结构表示，该方法在LDC2015E86和LDC2017T10基准上分别取得了29.66和31.82的BLEU分数，达到当前最先进水平。

ABSTRACT

Recent studies on AMR-to-text generation often formalize the task as a sequence-to-sequence (seq2seq) learning problem by converting an Abstract Meaning Representation (AMR) graph into a word sequence. Graph structures are further modeled into the seq2seq framework in order to utilize the structural information in the AMR graphs. However, previous approaches only consider the relations between directly connected concepts while ignoring the rich structure in AMR graphs. In this paper we eliminate such a strong limitation and propose a novel structure-aware self-attention approach to better modeling the relations between indirectly connected concepts in the state-of-the-art seq2seq model, i.e., the Transformer. In particular, a few different methods are explored to learn structural representations between two concepts. Experimental results on English AMR benchmark datasets show that our approach significantly outperforms the state of the art with 29.66 and 31.82 BLEU scores on LDC2015E86 and LDC2017T10, respectively. To the best of our knowledge, these are the best results achieved so far by supervised models on the benchmarks.

研究动机与目标

• 解决现有AMR到文本模型仅建模AMR图中直接连接概念之间的一跳关系的局限性。
• 通过引入AMR图中包括概念间间接关系在内的更丰富的结构信息，增强Transformer编码器。
• 开发一种新型自注意力机制，学习任意概念对的结构表示，无论其是否直接相连。
• 在监督学习设置下，于标准英文AMR基准上实现最先进性能。
• 证明建模间接结构依赖关系可显著提升生成质量与句法准确性。

提出的方法

• 在标准Transformer编码器中扩展结构感知自注意力机制，基于概念对的内容和结构表示计算注意力权重。
• 提出多种方法学习两个概念之间的结构表示，包括基于路径的编码和从图遍历中导出的结构标签序列。
• 使用可学习参数矩阵将结构表示转换为注意力偏置向量，以调节缩放点积注意力机制。
• 在编码器堆栈中应用修改后的自注意力层，使模型即使在无直接边连接时也能关注结构相关的概念。
• 采用线性化策略将AMR图转换为Transformer的输入序列，同时通过增强的注意力机制保留结构信息。
• 在标准AMR到文本基准上使用标准交叉熵损失端到端训练模型。

实验结果

研究问题

• RQ1 在AMR图中建模概念之间的间接结构依赖关系是否能提升AMR到文本生成的性能？
• RQ2 结构感知自注意力机制在捕捉超越一跳连接的长距离关系方面有多有效？
• RQ3 将结构表示引入Transformer编码器是否能提升生成文本中的句法与语义对齐？
• RQ4 与仅考虑直接边的现有基于图的seq2seq模型相比，所提方法表现如何？
• RQ5 所提方法是否能在不依赖外部数据的情况下于标准英文AMR基准上实现最先进结果？

主要发现

• 所提出的结构感知自注意力机制在LDC2015E86基准上取得了29.66的新最先进BLEU分数，比之前最佳模型高出4.16 BLEU点。
• 在LDC2017T10基准上，模型达到31.82的BLEU分数，比强基线模型高出4.39 BLEU点。
• 人工评估显示，该模型生成的句子更准确且句法上更一致，尤其在处理重叠指代和主谓一致方面表现更优。
• 当AMR图中缺乏时态或数的信息时，该模型始终更倾向于使用过去时态和复数形式，与参考输出对齐更好。
• 该模型能正确识别并保留主语-谓语关系和直接宾语依赖关系，而基线模型则无法生成这些关系。
• 消融实验验证，建模间接结构关系可显著提升性能，证实了所提机制的有效性。