[论文解读] A Deep Reinforcement Learning Chatbot (Short Version)

Iulian Vlad Serban, Chinnadhurai Sankar+16 more|arXiv (Cornell University)|Jan 20, 2018

Reinforcement Learning in Robotics参考文献 13被引用 14

一句话总结

本论文介绍了MILABOT，这是由MILA为Amazon Alexa Prize开发的深度强化学习聊天机器人，采用神经网络与基于模板的响应模型的集成，并结合学习到的策略来选择最优响应。该系统在用户评分方面取得了3.15的平均分（所有团队平均为2.92），并维持了每轮对话14.5–16.0轮的长度，显著优于其他系统，其成功得益于基于离策略的强化学习，从而提升了对话参与度与连贯性。

ABSTRACT

We present MILABOT: a deep reinforcement learning chatbot developed by the Montreal Institute for Learning Algorithms (MILA) for the Amazon Alexa Prize competition. MILABOT is capable of conversing with humans on popular small talk topics through both speech and text. The system consists of an ensemble of natural language generation and retrieval models, including neural network and template-based models. By applying reinforcement learning to crowdsourced data and real-world user interactions, the system has been trained to select an appropriate response from the models in its ensemble. The system has been evaluated through A/B testing with real-world users, where it performed significantly better than other systems. The results highlight the potential of coupling ensemble systems with deep reinforcement learning as a fruitful path for developing real-world, open-domain conversational agents.

研究动机与目标

• 开发一种可扩展的开放域对话代理，能够在多样化主题上实现持续、类人的对话。
• 通过端到端机器学习训练所有系统组件，减少对手动规则的依赖。
• 通过真实用户交互数据上的强化学习，改进开放域对话中的响应选择。
• 在真实世界的A/B测试中，相比基线系统，实现更高的用户参与度与满意度。
• 证明将集成模型与离策略深度强化学习相结合在对话系统中的有效性。

提出的方法

• 系统使用检索与生成模型的集成，包括深度神经网络和基于模板的系统，以生成多样化的候选响应。
• 对话管理器通过学习到的策略选择响应，对优先响应（如“你叫什么名字？”）进行显式处理。
• 采用离策略深度强化学习，利用真实用户交互数据与众包反馈优化响应选择。
• 策略通过价值函数与策略梯度方法进行训练，并引入一种新型基于模型的程序以提升样本效率与泛化能力。
• 系统利用ASR置信度分数与对话历史作为输入，以指导响应选择。
• 通过真实Alexa用户的A/B测试，使用用户指定的1–5分制评分来评估策略性能。

实验结果

研究问题

• RQ1 通过结合多样化NLP模型与强化学习，是否能够使系统在开放域对话中超越基于规则或单一模型的对话系统？
• RQ2 与在线策略或启发式方法相比，离策略深度强化学习是否能提升对话策略的泛化能力与用户参与度？
• RQ3 基于模拟或间接反馈（如用户评分）训练的策略，在多大程度上能提升真实对话场景下的表现？
• RQ4 在策略网络中引入归纳偏置，如何影响系统在多样化主题上的泛化能力？
• RQ5 在极少手工规则干预的情况下，系统是否能实现比基线系统更高的用户满意度与更长的对话轮次？

主要发现

• 表现最佳的系统在1–5分制下的平均用户评分为3.15，显著高于其他团队的平均分2.92。
• 系统每轮对话平均维持14.5–16.0轮，远超其他团队的平均11轮。
• 离策略REINFORCE策略使对话轮次比其他团队增加了70%以上，表明用户参与度更强。
• Q-learning AMT响应的语义连贯性（与用户输入的词重叠达11.28个）与语义丰富度（1.98个名词短语）均优于其他策略。
• 离策略强化学习方法展现出更优的泛化能力，使系统在有限标注数据下仍能保持高性能。
• 采用学习策略选择的集成方法，在用户满意度与对话轮次上均优于基于启发式规则的基线系统（如Evibot + Alicebot）。