[论文解读] Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection

Yikang Li, Pulkit Goel+6 more|arXiv (Cornell University)|Dec 19, 2020

Topic Modeling参考文献 30被引用 6

一句话总结

本文提出一种方法，通过注意力机制将ConceptNet中的常识知识注入统一语言模型（UniLM），并利用改进的束搜索算法强制执行词汇约束，从而提升词汇约束文本生成的语义正确性与概念覆盖率，缺失概念减少高达15%，且与人类常识更加一致。

ABSTRACT

Conditional text generation has been a challenging task that is yet to see human-level performance from state-of-the-art models. In this work, we specifically focus on the Commongen benchmark, wherein the aim is to generate a plausible sentence for a given set of input concepts. Despite advances in other tasks, large pre-trained language models that are fine-tuned on this dataset often produce sentences that are syntactically correct but qualitatively deviate from a human understanding of common sense. Furthermore, generated sequences are unable to fulfill such lexical requirements as matching part-of-speech and full concept coverage. In this paper, we explore how commonsense knowledge graphs can enhance model performance, with respect to commonsense reasoning and lexically-constrained decoding. We propose strategies for enhancing the semantic correctness of the generated text, which we accomplish through: extracting commonsense relations from Conceptnet, injecting these relations into the Unified Language Model (UniLM) through attention mechanisms, and enforcing the aforementioned lexical requirements through output constraints. By performing several ablations, we find that commonsense injection enables the generation of sentences that are more aligned with human understanding, while remaining compliant with lexical requirements.

研究动机与目标

• 解决预训练语言模型在词汇约束下生成语义连贯、符合常识句子时的失败问题。
• 克服CommonGen等文本生成任务中概念覆盖率与词性（POS）准确率的局限性。
• 通过将外部常识知识（来自ConceptNet）整合到语言模型架构中，提升模型性能。
• 通过约束解码策略确保生成句子严格包含所有输入概念，并正确匹配词性标签。

提出的方法

• 从ConceptNet中提取输入概念之间的常识关系，优先选择高频且词性匹配的关系。
• 通过注意力机制将提取的关系注入UniLM，尤其在早期层注入，以丰富上下文表征。
• 实现一种改进的束搜索算法，基于生成可能性与词汇约束符合度对候选序列进行评分。
• 采用Best-N束搜索评分策略，在不牺牲流畅性与连贯性的情况下，偏好更长、概念更丰富的序列。
• 使用知识选择策略过滤无关或噪声较大的扩展概念，减少生成过程中的干扰。
• 在知识注入与解码过程中集成词性标注，以保持生成标记的语法正确性。

实验结果

研究问题

• RQ1 通过注意力机制注入ConceptNet中的常识知识，能否提升词汇约束文本生成的语义合理性？
• RQ2 基于注意力的知识注入方法与非注意力方法相比，在提升生成质量方面表现如何？
• RQ3 约束束搜索解码在多大程度上能减少缺失概念与概念重复？
• RQ4 从ConceptNet中选择高频且词性匹配的关系，是否比无过滤注入带来更好的性能？
• RQ5 知识注入与约束解码的结合是否能显著提升与人类常识的一致性？

主要发现

• 通过注意力机制进行知识注入，提升了语义正确性，使生成句子更符合人类对常识的理解。
• Best-N束搜索评分使缺失概念率相比标准束搜索最高降低15%，尤其在基于拼接的注入方法中效果显著。
• 采用词性感知知识选择的模型在匹配所需词性标签方面，准确率提升超过2个百分点。
• 通过频率过滤扩展概念可减少噪声，提升生成质量，表明并非所有提取的关系都有益处。
• 注意力注入与约束解码的结合消除了最终输出中的概念重复现象，而基线UniLM则无法做到。
• 消融实验证实，知识注入与约束解码各自独立贡献性能提升，二者结合时产生协同效应。