[论文解读] MEGATRON-CNTRL: Controllable Story Generation with External Knowledge Using Large-Scale Language Models

Peng Xu, Mostofa Patwary+5 more|arXiv (Cornell University)|Oct 2, 2020

Topic Modeling参考文献 34被引用 12

一句话总结

本文提出 Megatron-Cntrl，一种通过关键词驱动检索和上下文排序整合外部知识的可控故事生成框架，以提升流畅性、连贯性和可控性。通过将模型参数量从 124M 扩展至 8.3B，该模型在 ROC Story 数据集的人工评估中实现了 93.0% 的一致性与 91.5% 的可控性，优于先前的工作。

ABSTRACT

Existing pre-trained large language models have shown unparalleled generative capabilities. However, they are not controllable. In this paper, we propose MEGATRON-CNTRL, a novel framework that uses large-scale language models and adds control to text generation by incorporating an external knowledge base. Our framework consists of a keyword predictor, a knowledge retriever, a contextual knowledge ranker, and a conditional text generator. As we do not have access to ground-truth supervision for the knowledge ranker, we make use of weak supervision from sentence embedding. The empirical results show that our model generates more fluent, consistent, and coherent stories with less repetition and higher diversity compared to prior work on the ROC story dataset. We showcase the controllability of our model by replacing the keywords used to generate stories and re-running the generation process. Human evaluation results show that 77.5% of these stories are successfully controlled by the new keywords. Furthermore, by scaling our model from 124 million to 8.3 billion parameters we demonstrate that larger models improve both the quality of generation (from 74.5% to 93.0% for consistency) and controllability (from 77.5% to 91.5%).

研究动机与目标

• 解决大规模预训练语言模型在故事生成中可控性不足与知识整合缺失的问题。
• 通过从上下文中提取的可解释关键词，实现实时、细粒度的生成控制。
• 通过多阶段框架引入相关外部知识，提升故事质量。
• 证明模型规模的扩大可同时提升生成质量与可控性。

提出的方法

• 使用关键词预测器基于当前上下文生成可解释的关键词，用于预测下一句故事内容。
• 利用预测的关键词从外部知识库中检索知识三元组。
• 应用上下文知识排序器，根据与故事上下文的相关性对检索到的知识进行过滤与重排序。
• 利用句子嵌入的弱监督信号训练知识排序器，无需真实标签。
• 将文本生成器同时基于上下文和排名靠前的知识句子进行条件生成，以产出连贯且基于知识的故事延续。
• 将模型从 124M 扩展至 8.3B 参数，以研究模型规模对质量与可控性的影响。

实验结果

研究问题

• RQ1 外部知识能否被有效且动态地整合到大语言模型中，以提升故事生成质量？
• RQ2 基于关键词的控制在多大程度上能引导故事生成，同时保持连贯性与流畅性？
• RQ3 模型规模的扩大如何影响生成故事的质量与可控性？
• RQ4 仅使用句子嵌入的弱监督能否有效训练上下文知识排序器，而无需真实标签？

主要发现

• Megatron-Cntrl 在 124M 参数量下生成的故事一致性为 74.5%，在 8.3B 参数量下提升至 93.0%。
• 人工评估显示，当关键词替换为其反义词时，91.5% 的故事仍能被成功控制。
• 与先前最先进方法相比，该模型在 ROC Story 数据集上减少了重复并提升了多样性。
• 随着模型规模的扩大，可控性与故事质量均显著提升，表明模型大小与性能之间存在强相关性。
• 通过句子嵌入的弱监督训练的上下文知识排序器，能有效过滤噪声知识并提升相关性。
• 该框架通过可解释关键词实现了动态、细粒度的故事生成控制，在 124M 参数量下 77.5% 的案例中成功实现基于反义词的控制，8.3B 参数量下达到 91.5%。