[论文解读] Deep Active Learning for Dialogue Generation

Nabiha Asghar, Pascal Poupart+2 more|arXiv (Cornell University)|Dec 12, 2016

Topic Modeling参考文献 41被引用 10

一句话总结

本文提出了一种端到端、在线的深度主动学习框架，用于开放域对话生成，该框架结合了离线两阶段监督学习与通过单字用户输入作为强化信号的实时人机交互反馈。该方法在无需人工设计奖励函数的情况下，提升了响应的相关性、连贯性与参与度，通过增量学习实现了个性化角色设定与对话风格。

ABSTRACT

We propose an online, end-to-end, neural generative conversational model for open-domain dialogue. It is trained using a unique combination of offline two-phase supervised learning and online human-in-the-loop active learning. While most existing research proposes offline supervision or hand-crafted reward functions for online reinforcement, we devise a novel interactive learning mechanism based on hamming-diverse beam search for response generation and one-character user-feedback at each step. Experiments show that our model inherently promotes the generation of semantically relevant and interesting responses, and can be used to train agents with customized personas, moods and conversational styles.

研究动机与目标

• 解决神经生成模型在开放域对话中生成语义相关、连贯且具吸引力响应的局限性。
• 通过引入一种基于单字反馈的人机交互主动学习机制，消除对人工设计奖励函数的依赖。
• 通过增量式、交互式学习，实现个性化对话代理，支持自定义角色设定、情绪状态与对话风格。
• 证明在线主动学习能够以数据高效、以人为本的方式有效提升对话模型性能。

提出的方法

• 模型采用两阶段离线监督学习方法：首先在Cornell电影对话语料库（30万对）上进行训练，随后在JabberWacky提供的8000对短文本对话数据集上进行微调。
• 在响应生成过程中采用一种新颖的汉明距离多样性束搜索（HammingDBS），通过惩罚与先前生成候选响应汉明距离过高的响应，实现语义多样性。
• 训练完成后启动在线主动学习，模型与人类用户实时交互，使用单字反馈作为强化信号。
• 模型通过随机梯度下降（Adam优化器）更新参数，基于用户提供的反馈计算交叉熵损失，实现单次适应。
• 学习过程为迭代式：每次用户发送消息后，模型通过HammingDBS生成多个候选响应，根据反馈选择最优响应，并在该交互上进行微调。
• 系统通过允许人类训练者采用特定情绪角色（如愉快、低落、无礼）实现细粒度个性化，模型通过反馈学习模仿这些情绪特征与表达风格。

实验结果

研究问题

• RQ1 在仅依赖最少人类反馈的情况下，基于在线深度主动学习是否能有效提升开放域对话系统响应质量，且无需人工设计奖励函数？
• RQ2 汉明距离多样性束搜索的集成在生成过程中如何增强响应的多样性与相关性？
• RQ3 对话模型在单次适应、交互式学习下，能在多大程度上学习并适应个性化角色设定与对话风格？
• RQ4 学习率对在线微调过程中模型稳定性与性能有何影响？
• RQ5 增量式人类反馈是否能随时间持续提升响应连贯性、相关性与用户参与度？

主要发现

• SL2+oAL模型在所有四个评估维度（句法连贯性、相关性、趣味性、用户参与度）上均优于SL1与SL2，平均提升14%–21%。
• 学习率为0.005时在稳定性和单次学习之间达到最佳平衡，更高学习率导致因参数不稳定而性能下降。
• 随着训练交互次数增加，模型性能逐步提升，学习曲线在300次交互后仍显示持续非零梯度，表明模型持续适应。
• 模型成功实现了对语义相似但句法不同的提示的泛化，展示了对话模式的有效零样本迁移能力。
• 模型可有效微调以采用不同情绪角色（如愉快、低落、无礼），其响应能恰当反映所训练的情绪状态与表达风格。
• 人类评估者认为SL2+oAL的响应更具吸引力，更易引发后续追问，表明对话流更自然流畅。