[论文解读] Knowledge Injection into Dialogue Generation via Language Models

Yi-Lin Tuan, Wei Wei+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 48被引用 7

一句话总结

该论文提出 InjK，一种两阶段知识注入框架，通过联合学习推断相关知识与生成回复，使对话模型即使在外部知识有限的情况下也能生成连贯且信息丰富的回复。通过引入潜在知识变量建模随机因果关系，InjK 在低知识场景下显著优于先前方法，大幅降低响应困惑度，并在知识不足时提升连贯性与信息量。

ABSTRACT

Dialogue generation has been successfully learned from scratch by neural networks, but tends to produce the same general response, e.g., "what are you talking about?", in many conversations. To reduce this homogeneity, external knowledge such as the speaker's profile and domain knowledge is applied as an additional condition to diversify a model's output. The required knowledge to develop an effective conversation, however, is not always available, which is different from prior work's assumption that a model always has acquired sufficient knowledge before chatting. This problem can be detrimental when applying a dialogue model like this chatting online with unconstrained people and topics, because the model does not have the needed knowledge. To address this problem, we propose InjK, which is a two-stage approach to inject knowledge into a dialogue generation model. First, we train a large-scale language model and query it as textual knowledge. Second, we frame a dialogue generation model to sequentially generate textual knowledge and a corresponding response. Empirically, when a dialogue generation model can only access limited knowledge, our method outperforms prior work by producing more coherent and informative responses.

研究动机与目标

• 解决现实对话系统中知识不足的关键问题，即推理过程中外部知识常不可用。
• 提出一种统一方法，不依赖训练数据中的预标注知识，即使知识稀疏也能实现有效响应生成。
• 建模未观测知识与对话响应之间的随机因果关系，提升对知识稀缺的鲁棒性。
• 评估推理阶段知识不足的影响，证明当前模型在低知识条件下表现失败。

提出的方法

• InjK 采用两阶段流程：首先，利用大语言模型从对话上下文中生成候选知识；其次，基于对话历史和推断出的知识生成响应。
• 该方法引入一个表示未观测知识的潜在变量，通过变分自编码器结合策略梯度与 Kullback-Leibler 散度（KLD）正则化进行建模。
• 通过将语义内容映射到特定领域知识空间，实现输入话语与知识的解耦，使模型能够推理缺失或隐含的知识。
• 框架通过强化学习目标联合优化知识生成与响应生成，采用策略梯度方法，鼓励生成信息丰富且与上下文相关的知识。
• 使用知识缺口度量来量化模型对知识可用性的敏感度，定义为在不同知识长度下困惑度的标准差。
• 该方法在 Personachat 和 LIGHT 数据集上进行评估，比较了不同知识可用性水平下的性能表现。

实验结果

研究问题

• RQ1 推理过程中知识不足如何影响现有知识增强对话模型的性能？
• RQ2 当外部知识有限或缺失时，对话模型能否在不依赖训练数据中预标注知识的情况下生成高质量响应？
• RQ3 将潜在知识建模为随机变量对响应连贯性与信息量有何影响？
• RQ4 与最先进基线相比，所提方法在应对知识稀缺方面的鲁棒性如何？
• RQ5 模型性能在多大程度上依赖于外部知识的可用性？如何最小化这种依赖？

主要发现

• 在知识有限时，InjK 显著优于 MLE 和 CVAE 基线，在连贯性与信息量方面表现更优，困惑度更低，人类评估得分更高。
• 模型在不同知识长度下保持稳定性能，知识缺口（困惑度标准差）小于所有基线，尤其在 KGuide 和 KGround 上表现更优。
• 消融实验表明，若移除策略梯度或 KLD 项，性能均会下降，证实二者在联合知识与响应生成中的关键作用。
• InjK 在训练和推理阶段均实现了最低的知识缺口，表明其对知识不足具有强鲁棒性。
• 人类评估显示中等程度的标注者间一致性（Fleiss’ kappa），并确认 InjK 在低知识条件下生成的响应比基线更连贯且与上下文更相关。
• 结果表明，在训练和推理阶段均考虑知识不足，可使对话系统更具认知合理性与用户友好性。