[论文解读] Modeling Graph Structure via Relative Position for Better Text Generation from Knowledge Graphs

|arXiv (Cornell University)|Jun 16, 2020

Topic Modeling参考文献 38被引用 8

一句话总结

Graformer 是一种基于 Transformer 的新型编码器-解码器模型，用于图到文本生成，通过利用最短路径距离建模节点关系，采用相对位置感知图自注意力机制，捕捉知识图谱中的全局结构模式。该模型在 AGENDA 和 WebNLG 基准测试中实现了最先进性能，且参数量显著少于先前方法。

ABSTRACT

We present a novel encoder-decoder architecture for graph-to-text generation based on Transformer, called the Graformer. With our novel graph self-attention, every node in the input graph is taken into account for the encoding of every other node - not only direct neighbors, facilitating the detection of global patterns. For this, the relation between any two nodes is characterized by the length of the shortest path between them, including the special case when there is no such path. The Graformer learns to weigh these node-node relations differently for different attention heads, thus virtually learning differently connected views of the input graph. We evaluate the Graformer on two graph-to-text generation benchmarks, the AGENDA dataset and the WebNLG challenge dataset, where it achieves strong performance while using significantly less parameters than other approaches.

研究动机与目标

• 通过在注意力机制中实现全局结构感知，解决现有图到文本模型中局部感受野的局限性。
• 通过最短路径距离建模节点关系，提升从知识图谱生成文本的质量，包括非连通节点的关系。
• 通过注意力头学习多种不同连接方式的图视图，无需增加参数，从而降低模型复杂度。
• 与现有方法相比，采用更高效的架构，在图到文本基准测试中实现具有竞争力的性能。

提出的方法

• Graformer 引入了一种图自注意力机制，为每个节点的表示考虑输入图中的所有节点，而不仅限于直接邻居。
• 节点间的关系通过它们之间的最短路径长度进行编码，对于未连通的节点则使用无穷距离表示。
• 注意力头学习对这些基于路径的关系进行不同权重分配，从而在不扩展架构的情况下有效学习多种图视图。
• 模型采用标准的 Transformer 编码器-解码器框架，但将标准自注意力机制替换为所提出的图自注意力机制。
• 相对位置编码源自最短路径距离，使模型能够捕捉结构层次和连通性模式。

实验结果

研究问题

• RQ1 通过最短路径距离建模节点关系，是否能提升图到文本生成中的全局结构感知能力？
• RQ2 通过注意力头学习多种不同加权的图视图，是否能提升生成质量？
• RQ3 更高效的注意力机制是否能在保持或提升性能的同时减少模型参数？
• RQ4 在标准基准测试中，Graformer 与现有方法相比，在生成质量和参数效率方面表现如何？

主要发现

• Graformer 在 AGENDA 和 WebNLG 图到文本生成基准测试中实现了最先进性能。
• 其在自动评估指标上优于现有方法，且参数量显著更少。
• 通过最短路径距离捕捉全局图结构的能力，提升了生成文本的事实一致性和连贯性。
• 基于路径的相对位置编码使注意力更聚焦于结构上相关的节点对。