[论文解读] Enhancing AMR-to-Text Generation with Dual Graph Representations

Leonardo F. R. Ribeiro, Claire Gardent+1 more|TUbilio (Technical University of Darmstadt)|Sep 1, 2019

Topic Modeling参考文献 33被引用 4

一句话总结

本文提出了一种用于AMR到文本生成的双图表示模型，通过使用不同的图编码器分别编码输入AMR图的自顶向下和自底向上的结构视角。通过利用互补的节点表示和最先进图神经网络，该模型在两个AMR基准上实现了最先进性能，优于先前的方法，包括使用句法信息的方法。

ABSTRACT

Generating text from graph-based data, such as Abstract Meaning Representation (AMR), is a challenging task due to the inherent difficulty in how to properly encode the structure of a graph with labeled edges. To address this difficulty, we propose a novel graph-to-sequence model that encodes different but complementary perspectives of the structural information contained in the AMR graph. The model learns parallel top-down and bottom-up representations of nodes capturing contrasting views of the graph. We also investigate the use of different node message passing strategies, employing different state-of-the-art graph encoders to compute node representations based on incoming and outgoing perspectives. In our experiments, we demonstrate that the dual graph representation leads to improvements in AMR-to-text generation, achieving state-of-the-art results on two AMR datasets.

研究动机与目标

• 为解决在AMR到文本生成中编码复杂非欧几里得图结构的挑战。
• 通过捕捉AMR图的互补结构视角来提升文本生成质量。
• 通过使用并行图表示，消除对位置编码和去lexical化处理的依赖。
• 评估不同图编码器在双表示学习背景下的有效性。
• 在不依赖额外句法信息的情况下，实现在AMR到文本生成任务上的最先进结果。

提出的方法

• 该模型构建了两种独立的图结构：一种用于自顶向下（TD）遍历，另一种用于自底向上（BU）遍历AMR图。
• 两种图中的每个节点均使用不同的图神经网络（GNN）编码器进行编码，分别从传入边（BU）和传出边（TD）学习表示。
• 该方法采用消息传递策略，从两个视角聚合邻域信息，从而实现更丰富的节点表示。
• 双重视觉表示在序列到序列解码器中结合，以生成流畅且语义准确的文本。
• 该模型集成了一个复制机制，以保留罕见实体，而无需去lexical化或匿名化处理。
• 评估了三种GNN变体——GIN、GAT和GGNN——作为编码器，以比较不同消息传递机制下的性能表现。

实验结果

研究问题

• RQ1 双重视觉、并行编码自顶向下和自底向上的图结构是否能提升AMR到文本生成的性能？
• RQ2 当作为双重视觉表示框架中的编码器时，不同图神经网络架构（如GIN、GAT、GGNN）的表现如何？
• RQ3 双重视觉表示方法是否能减少对位置编码或外部句法特征的依赖？
• RQ4 该模型在多大程度上保留了输入概念，并避免生成OOV或幻觉性词元？
• RQ5 与最先进基线模型相比，该模型表现如何，包括那些使用句法信息的模型？

主要发现

• 所提出的双图表示模型在两个AMR基准上实现了最先进结果，优于先前模型，包括使用句法信息的模型。
• G2S-GGNN变体在LDC2017T10测试集上取得了48.66的BLEU分数和50.77的METEOR分数，表现最佳。
• 与S2S基线相比，该模型减少了48.66%的添加词元和34.06%的缺失词元，表明语义充分性更优。
• 人工评估显示，G2S-GGNN模型在语义相似性（平均78.4）和可读性（平均76.2）方面均优于S2S基线。
• 双重视觉表示方法成功捕捉了复杂依赖关系，如嵌套从句中的主谓关系，而先前模型因n-gram频率偏差而失败。
• 基于GIN的编码器在添加和缺失词元方面最接近参考标准（GOLD），表明其对输入概念的覆盖能力更优。