[论文解读] Graph-based Multi-hop Reasoning for Long Text Generation

Liang Zhao, Jingjing Xu+4 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 39被引用 10

一句话总结

本文提出多跳推理生成（MRG），一种基于知识图谱的两阶段框架，通过多跳推理推断语义骨架路径，以实现连贯的长文本生成。通过显式建模句级依赖关系并利用可解释的路径，MRG 在故事生成、评论生成和产品描述生成等任务中，于连贯性、信息量和多样性方面均优于 GPT-2 和知识增强型基线模型。

ABSTRACT

Long text generation is an important but challenging task.The main problem lies in learning sentence-level semantic dependencies which traditional generative models often suffer from. To address this problem, we propose a Multi-hop Reasoning Generation (MRG) approach that incorporates multi-hop reasoning over a knowledge graph to learn semantic dependencies among sentences. MRG consists of twoparts, a graph-based multi-hop reasoning module and a path-aware sentence realization module. The reasoning module is responsible for searching skeleton paths from a knowledge graph to imitate the imagination process in the human writing for semantic transfer. Based on the inferred paths, the sentence realization module then generates a complete sentence. Unlike previous black-box models, MRG explicitly infers the skeleton path, which provides explanatory views tounderstand how the proposed model works. We conduct experiments on three representative tasks, including story generation, review generation, and product description generation. Automatic and manual evaluation show that our proposed method can generate more informative and coherentlong text than strong baselines, such as pre-trained models(e.g. GPT-2) and knowledge-enhanced models.

研究动机与目标

• 为解决长文本生成中复杂句级语义依赖关系建模的挑战。
• 在自回归模型或预训练模型的基础上，进一步提升生成长文本的连贯性、信息量和多样性。
• 通过显式推断并展示语义骨架路径，提升文本生成的可解释性。
• 通过知识图谱上的多跳推理实现有效的知识融合，而非依赖对三元组的隐式注意力机制。
• 由于缺乏用于路径推理的人工标注训练数据，开发一种自监督训练方法用于 MRG。

提出的方法

• 该模型使用基于图的多跳推理模块，通过在知识图谱中迭代探索邻居节点，从输入上下文推断骨架路径。
• 推理模块将每个邻居节点分类为目标概念、中间概念或其他概念，形成表示语义传递的路径。
• 路径感知的句子生成模块基于推断出的骨架路径和先前上下文生成流畅的句子。
• 该模型采用自监督方法构建伪平行语料库，用于无需人工标注路径的两个模块的训练。
• 使用 BERT 作为推理模块的主干网络，以在知识图谱中执行序列建模和节点分类。
• 该框架采用端到端的两阶段训练流程：先进行路径推理，再进行句子生成，从而实现对语义流的显式控制。

实验结果

研究问题

• RQ1 与自回归模型相比，基于知识图谱的多跳推理是否能提升长文本的连贯性和信息量？
• RQ2 与黑箱注意力机制相比，显式路径推理在多大程度上提升了文本生成的可解释性？
• RQ3 在缺乏人工标注路径的情况下，自监督方法在多大程度上能有效训练多跳推理生成器？
• RQ4 推理与生成模块的分离是否能减少错误传播并提升生成质量？
• RQ5 该模型能否在故事生成、评论生成和产品描述生成等多样化长文本生成任务中实现良好泛化？

主要发现

• MRG 在自动评估和人工评估中均显著优于强基线模型，包括 GPT-2 和知识增强模型，在三项长文本生成任务中表现优异。
• 人工评估显示，MRG 生成的文本在连贯性、信息量和多样性方面优于现有方法，且句子间语义传递更加自然。
• 模型的显式路径推理提供了可解释的推理轨迹，揭示了生成过程中语义依赖关系的形成机制。
• 自监督预训练策略即使在缺乏标准路径标注的情况下，也能有效学习有意义的骨架路径。
• MRG 在信息量和多样性方面取得显著提升，尤其在需要知识丰富且逻辑结构清晰的输出任务中表现突出。
• 路径感知的生成模块基于推断出的概念路径，生成流畅且上下文相关的句子，充分体现了推理与生成的有效融合。