[论文解读] Text Generation from Knowledge Graphs with Graph Transformers

Rik Koncel-Kedziorski, Dhanush Bekal+3 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 31被引用 45

一句话总结

GraphWriter 使用图形-变换器编码器从自动提取的知识图谱生成多句科学摘要，优于若干基线。

ABSTRACT

Generating texts which express complex ideas spanning multiple sentences requires a structured representation of their content (document plan), but these representations are prohibitively expensive to manually produce. In this work, we address the problem of generating coherent multi-sentence texts from the output of an information extraction system, and in particular a knowledge graph. Graphical knowledge representations are ubiquitous in computing, but pose a significant challenge for text generation techniques due to their non-hierarchical nature, collapsing of long-distance dependencies, and structural variety. We introduce a novel graph transforming encoder which can leverage the relational structure of such knowledge graphs without imposing linearization or hierarchical constraints. Incorporated into an encoder-decoder setup, we provide an end-to-end trainable system for graph-to-text generation that we apply to the domain of scientific text. Automatic and human evaluations show that our technique produces more informative texts which exhibit better document structure than competitive encoder-decoder methods.

研究动机与目标

• 促使从自动提取的知识图谱中生成连贯的多句文本。
• 提出基于图-变换器的编码器，在不进行线性化的情况下更好地利用图结构。
• 在编码器-解码器框架内展示端到端可训练的图到文本生成。
• 提供一个新的数据集（AGENDA），其中知识图与科学摘要成对，用于评估图到文本系统。

提出的方法

• 将知识图谱转换为连通的无标签图，同时保留关系信息。
• 用 Graph Transformer 编码图，利用图邻域上的多头自注意力以及全局上下文。
• 对顶点（实体和关系）进行嵌入，并在图编码之前用 BiRNNs 编码标题。
• 使用基于注意力的解码器进行解码，并采用拷贝机制将图实体或词汇表中的单词插入文本。
• 通过最小化目标文本及复制实体的负对数似然来进行端到端训练。

实验结果

研究问题

• RQ1 图-变换器编码器是否能够有效利用知识图的关系结构来进行文本生成？
• RQ2 将图结构与全局上下文纳入是否比基于表格或序列的编码器在生成多句文本方面更优？
• RQ3 知识图到文本生成在信息量、连贯性与语法方面相对于与知识无关的基线表现如何？

主要发现

模型	BLEU	METEOR
GraphWriter	14.3 ± 1.01	18.8 ± 0.28
GAT	12.2 ± 0.44	17.2 ± 0.63
EntityWriter	10.38	16.53
Rewriter	1.05	8.38

• GraphWriter 在自动评估指标（BLEU 和 METEOR）上优于基线。
• GraphWriter (14.3 ± 1.01 BLEU, 18.8 ± 0.28 METEOR) 超越 GAT (12.2 ± 0.44 BLEU, 17.2 ± 0.63 METEOR)。
• 基于知识的 GraphWriter 与 Graph Attention Network 的变体在输入更丰富的模型上优于使用较少输入的模型（EntityWriter, Rewriter）。
• 人工评估表明 GraphWriter 常被偏好于 Rewriter，且结构和语法更好；在某些标准下，某些摘要在信息量上甚至优于人工撰写的摘要。
• 推断显示生成文本中未实现知识图实体占 40%，表明存在覆盖范围的缺口，需在未来工作中解决。