[论文解读] Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs

Leonardo F. R. Ribeiro, Yue Zhang+2 more|arXiv (Cornell University)|Jan 29, 2020

Topic Modeling参考文献 48被引用 65

一句话总结

本论文提出统一的图到文本模型，使用 Graph Attention Networks 结合全局和局部节点上下文，在 AGENDA 和 WebNLG 的 CGE-CGE-LW 变体上达到最新 BLEU。

ABSTRACT

Recent graph-to-text models generate text from graph-based data using either global or local aggregation to learn node representations. Global node encoding allows explicit communication between two distant nodes, thereby neglecting graph topology as all nodes are directly connected. In contrast, local node encoding considers the relations between neighbor nodes capturing the graph structure, but it can fail to capture long-range relations. In this work, we gather both encoding strategies, proposing novel neural models which encode an input graph combining both global and local node contexts, in order to learn better contextualized node embeddings. In our experiments, we demonstrate that our approaches lead to significant improvements on two graph-to-text datasets achieving BLEU scores of 18.01 on AGENDA dataset, and 63.69 on the WebNLG dataset for seen categories, outperforming state-of-the-art models by 3.7 and 3.1 points, respectively.

研究动机与目标

• 研究全局与局部节点编码在图到文本生成中的局限性。
• 提出一个统一框架，将全局和局部节点上下文结合起来，以学习更丰富的节点嵌入。
• 比较级联和并行整合架构并探索逐层整合。
• 在 AGENDA 和 WebNLG 的 KG-to-text 基准上评估所提出的模型。
• 分析消融研究以识别驱动性能的关键组件。

提出的方法

• 将每个 KG 表示为转换为标记级节点的多关系图。
• 实现基于 Graph Attention Networks (GAT) 的全局编码器，以及带关系权重和基于 GRU 的组合的局部编码器。
• 提出四种整合架构：Parallel Graph Encoding (PGE)，Cascaded Graph Encoding (CGE)，Layer-Wise PGE (PGE-LW)，以及 Layer-Wise CGE (CGE-LW)。
• 使用带多头注意力的 Transformer 风格解码器，对编码器输出与先前生成的标记进行注意力计算；对多句输出应用长度惩罚。
• 以负对数似然、标签平滑和字节对编码进行训练；在节点和目标标记之间共享词汇表；在开发集上对超参数进行调优。

实验结果

研究问题

• RQ1 将全局与局部节点上下文结合是否优于单独使用其中之一的 KG-to-text 生成？
• RQ2 哪种整合架构（PGE、CGE、PGE-LW、CGE-LW）在各数据集上表现最好？
• RQ3 图的规模和拓扑结构如何影响模型性能以及全局与局部编码的相对收益？
• RQ4 Levi 图变换对 WebNLG 结果有什么影响？
• RQ5 消融组件（全局/局部注意力、GRU、关系权重）如何影响性能？

主要发现

• CGE-LW 在 AGENDA 上达到 BLEU 18.01，在 WebNLG（已见类别）上达到 63.69，分别比基线高出 3.7 和 3.1 BLEU 点。
• 局部编码加全局编码相较基线有提升，全球上下文有助于在不完整的 KG 的不相连组件之间学习。
• 层级整合（LW）变体通常优于非 LW 配置；级联模型通常带来强结果。
• Levi-graph 变体提升了 WebNLG 的结果（63.69 BLEU，44.47 METEOR，76.66 CHRF++）。
• 消融研究显示全局注意力和前馈网络对性能贡献显著；去除局部注意力或局部编码器会显著降低 BLEU。
• WebNLG 的性能随 Levi-graph 输入而提升，而 AGENDA 从全局再到局部处理的级联有利于提升。