[论文解读] An Enhanced Knowledge Injection Model for Commonsense Generation

Zhihao Fan, Yeyun Gong+7 more|arXiv (Cornell University)|Dec 1, 2020

Topic Modeling参考文献 40被引用 7

一句话总结

该论文提出 EKI-BART，一种用于常识生成的增强型知识注入模型，通过集成缩放模块和原型位置指示器，改进 BART 模型以更好地利用来自外部文本的检索原型。该方法显著提升了 CommonGen 基准上的生成质量，减少了噪声并增强了情景连贯性，优于基线 BART 模型和仅使用检索的模型。

ABSTRACT

Commonsense generation aims at generating plausible everyday scenario description based on a set of provided concepts. Digging the relationship of concepts from scratch is non-trivial, therefore, we retrieve prototypes from external knowledge to assist the understanding of the scenario for better description generation. We integrate two additional modules, namely position indicator and scaling module, into the pretrained encoder-decoder model for prototype modeling to enhance the knowledge injection procedure. We conduct experiment on CommonGen benchmark, and experimental results show that our method significantly improves the performance on all the metrics.

研究动机与目标

• 为解决从给定概念生成符合常识的文本的挑战，因为标准语言模型常生成不切实际或语义不一致的句子。
• 通过从外部文本语料库中检索并编辑原型，弥合输入概念与合理情景描述之间的语义鸿沟。
• 通过引入可学习的缩放模块和位置指示器，对原型标记实现细粒度控制，改进预训练编码器-解码器模型中的知识注入。
• 证明域内和域外的纯文本语料库均可作为常识生成的有效知识来源。

提出的方法

• 基于输入概念从外部文本语料库中检索相关原型，将其作为情景知识用于引导句子生成。
• 引入缩放模块，为原型中的标记分配可学习权重，以抑制噪声或无关标记。
• 采用原型位置指示器，编码概念词在原型中的相对位置，帮助模型聚焦于语义相关的上下文。
• 使用检索到的原型和两个辅助模块微调预训练的 BART 编码器-解码器模型，以生成连贯且符合常识的句子。
• 采用检索-编辑框架，模型对检索到的原型进行编辑，以包含所有必需的输入概念，同时保持流畅性和事实合理性。
• 端到端训练模型，使用交叉熵损失进行优化，兼顾生成质量与概念覆盖度。

实验结果

研究问题

• RQ1 从纯文本中检索并编辑原型是否能超越标准微调预训练语言模型，在常识生成方面带来提升？
• RQ2 缩放模块和位置指示器如何增强模型利用原型知识的能力并减少噪声？
• RQ3 当使用域外文本语料库作为知识来源时，原型注入带来的性能提升是否依然有效？
• RQ4 模型在生成流畅且合理的句子时，能在多大程度上保留所有输入概念？

主要发现

• EKI-BART 模型在 CommonGen 基准的所有自动指标（BLEU、ROUGE、FID）上均显著优于基线 BART 模型和仅使用检索的模型。
• 与在域内数据上微调的 BART 相比，该模型在生成句子中缺失的输入概念数量减少了超过 300 个实例。
• 缩放模块有效抑制了原型噪声，使生成的句子比仅使用 BART 时更准确、更合理。
• 原型位置指示器提升了模型关注原型中相关上下文的能力，增强了情景连贯性。
• 即使使用域外纯文本作为知识来源，该方法依然表现良好，展现出强大的鲁棒性和泛化能力。
• 消融实验确认，缩放模块和位置指示器均独立且显著地贡献于性能提升。