[论文解读] Data Distillation for Controlling Specificity in Dialogue Generation

Jiwei Li, Will Monroe+1 more|arXiv (Cornell University)|Feb 22, 2017

Topic Modeling参考文献 28被引用 18

一句话总结

本文提出一种数据提炼方法，仅用一个数据集即可训练多个不同具体程度的对话生成模型，通过迭代移除与模型最常见输出语义最接近的响应。测试时，强化学习智能体选择最符合上下文的模型，生成的响应质量更高、上下文感知性更强，优于基线模型。

ABSTRACT

People speak at different levels of specificity in different situations. Depending on their knowledge, interlocutors, mood, etc.} A conversational agent should have this ability and know when to be specific and when to be general. We propose an approach that gives a neural network--based conversational agent this ability. Our approach involves alternating between \emph{data distillation} and model training : removing training examples that are closest to the responses most commonly produced by the model trained from the last round and then retrain the model on the remaining dataset. Dialogue generation models trained with different degrees of data distillation manifest different levels of specificity. We then train a reinforcement learning system for selecting among this pool of generation models, to choose the best level of specificity for a given input. Compared to the original generative model trained without distillation, the proposed system is capable of generating more interesting and higher-quality responses, in addition to appropriately adjusting specificity depending on the context. Our research constitutes a specific case of a broader approach involving training multiple subsystems from a single dataset distinguished by differences in a specific property one wishes to model. We show that from such a set of subsystems, one can use reinforcement learning to build a system that tailors its output to different input contexts at test time.

研究动机与目标

• 使对话智能体能够根据上下文调整响应的具体程度，模仿人类对话行为。
• 解决在缺乏具体程度显式监督的情况下，训练可控具体程度模型的挑战。
• 开发一种方法，仅用一个数据集生成一系列不同具体程度的响应，无需对具体程度进行人工标注。
• 利用强化学习在推理时根据输入上下文动态选择最优具体程度。

提出的方法

• 在数据集上迭代训练序列到序列模型，随后移除输出与模型最常见输出语义最接近的训练样本。
• 在多轮中重复训练与提炼过程，每轮后续模型因移除了通用响应而逐渐更具具体性。
• 构建一个生成模型池，每个模型在原始数据的逐步更具体子集上训练，形成具体程度的连续谱系。
• 训练一个强化学习智能体，根据输入上下文从模型池中选择最佳模型，以优化响应质量与具体程度。
• 使用人工评估与对抗性指标，对比强化学习选择的模型与基线模型及单个提炼模型的表现。

实验结果

研究问题

• RQ1 迭代式数据提炼能否从单一数据集生成一系列具体程度逐步提升的对话生成模型？
• RQ2 强化学习智能体能否在推理阶段有效选择最符合上下文的具体程度？
• RQ3 与未使用提炼或固定具体程度训练的模型相比，强化学习选择的模型是否生成了更高质量且更多样化的响应？
• RQ4 具体程度模型的选择与输入特征（如模糊性或未知词）之间是否存在相关性？

主要发现

• 早期数据提炼轮次（如 Iter2）训练的模型在人工评估中生成的响应质量高于全数据集基线（Iter1）。
• 强化学习模型在人工评估中获得60%的胜率，优于单独的Iter1和Iter2模型。
• 强化学习模型在16%的输入中选择了Iter1模型（具体程度最低），主要发生在输入模糊或歧义时。
• 当输入清晰且包含较多未知词时，强化学习模型更倾向于选择更具体模型（如Iter3、Iter4），表明其具备上下文感知的具体程度选择能力。
• 强化学习模型实现8.8%的对抗性成功率与94.4%的机器对随机选择的准确率，优于基线Iter1（5.8%成功率）与随机选择模型。