[论文解读] GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation

Anthony Colas, Mehrdad Alvandipour+1 more|arXiv (Cornell University)|Apr 13, 2022

Topic Modeling被引用 8

一句话总结

本文提出GAP，一种图感知的预训练语言模型框架，通过引入邻域掩码注意力机制和关系/实体类型编码，将图结构感知能力融入BART等预训练模型，以提升知识图谱到文本的生成性能。GAP无需额外的预训练任务，即可在WebNLG和EventNarrative数据集上达到当前最优性能，超越依赖昂贵辅助预训练的模型，同时支持对基于知识图谱的文本生成中注意力机制动态的可解释性分析。

ABSTRACT

Recent improvements in KG-to-text generation are due to additional auxiliary pre-training tasks designed to give the fine-tune task a boost in performance. These tasks require extensive computational resources while only suggesting marginal improvements. Here, we demonstrate that by fusing graph-aware elements into existing pre-trained language models, we are able to outperform state-of-the-art models and close the gap imposed by additional pre-training tasks. We do so by proposing a mask structure to capture neighborhood information and a novel type encoder that adds a bias to the graph-attention weights depending on the connection type. Experiments on two KG-to-text benchmark datasets show our models are competitive while involving fewer parameters and no additional pre-training tasks. By formulating the problem as a framework, we can interchange the various proposed components and begin interpreting KG-to-text generative models based on the topological and type information found in a graph.

研究动机与目标

• 解决现有知识图谱到文本生成模型依赖大量辅助预训练任务所导致的效率低下和计算成本过高的问题。
• 通过将图结构信息直接整合到预训练语言模型中，提升知识图谱到文本生成的性能。
• 通过注意力机制，实现对图拓扑结构和关系类型如何影响文本生成过程的可解释性与模块化分析。
• 证明图感知建模可超越依赖大规模预训练的模型，降低资源需求。
• 为未来图感知文本生成研究提供灵活、开源的框架。

提出的方法

• 提出一种邻域掩码注意力机制，在编码阶段通过屏蔽非相邻节点的注意力，捕捉局部图结构。
• 提出一种新型类型编码器，将关系和实体类型信息注入图注意力权重，基于连接类型对注意力进行偏置。
• 将图感知组件融合到现有的预训练语言模型（如BART）中，保留其上下文和词汇优势的同时增强结构感知能力。
• 支持注意力掩码与类型编码配置的可互换性，支持系统性消融实验与可解释性研究。
• 采用序列到序列框架，将图线性化后通过增强后的语言模型进行文本生成。
• 采用双编码策略：首先通过预训练语言模型编码实体和关系，然后利用图感知注意力细化表示。

实验结果

研究问题

• RQ1 是否可以通过对预训练语言模型进行图感知增强，在无需额外预训练任务的情况下超越当前最先进模型？
• RQ2 将实体和关系类型信息注入注意力权重，对生成文本的质量与连贯性有何影响？
• RQ3 邻域掩码是否能提升模型捕捉局部图结构的能力，并改善生成性能？
• RQ4 注意力可视化与结构分析在多大程度上能为知识图谱到文本生成提供可解释性洞察？
• RQ5 完全图感知的模型是否在性能上可与或优于依赖大规模辅助预训练的模型？

主要发现

• GAP在WebNLG v2.0和EventNarrative两个数据集上均未使用任何额外预训练任务，达到了最先进性能。
• 采用完整掩码与类型编码的模型（$M^{e,r}_{e,r}$）在WebNLG上取得38.7的BLEU分数，优于依赖昂贵预训练的先前最先进模型。
• 人工评估表明，加入类型编码的模型生成的输出更自然、更简洁，例如更倾向于使用'followed by'而非'followed by'。
• 注意力热力图显示，采用类型编码的模型减少了冗余注意力模式，例如避免了对'country'的不必要关注。
• 未使用类型编码的模型在各组件间表现出更均匀的注意力分布，这在某些情况下与输出不够简洁相关。
• 该框架支持对注意力模式的可解释性分析，表明结构化与类型感知建模能带来更忠实、更流畅的文本生成。