[论文解读] Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning

Baolin Peng, Xiujun Li+4 more|arXiv (Cornell University)|Jan 18, 2018

Speech and dialogue systems被引用 30

一句话总结

本文提出 Deep Dyna-Q（DDQ），一种新颖的深度强化学习框架，将基于世界模型的规划整合到任务完成型对话策略学习中。通过结合真实用户交互与由持续更新的世界模型生成的模拟经验，DDQ 实现了高效、样本高效的策略学习——仅需 100 次真实对话即可达到 50% 的任务成功率，显著优于标准 DQN 智能体。

ABSTRACT

Training a task-completion dialogue agent via reinforcement learning (RL) is costly because it requires many interactions with real users. One common alternative is to use a user simulator. However, a user simulator usually lacks the language complexity of human interlocutors and the biases in its design may tend to degrade the agent. To address these issues, we present Deep Dyna-Q, which to our knowledge is the first deep RL framework that integrates planning for task-completion dialogue policy learning. We incorporate into the dialogue agent a model of the environment, referred to as the world model, to mimic real user response and generate simulated experience. During dialogue policy learning, the world model is constantly updated with real user experience to approach real user behavior, and in turn, the dialogue agent is optimized using both real experience and simulated experience. The effectiveness of our approach is demonstrated on a movie-ticket booking task in both simulated and human-in-the-loop settings.

研究动机与目标

• 为解决通过与真实用户直接交互训练对话智能体所带来的高成本与低效率问题。
• 克服用户模拟器的局限性，后者通常缺乏类人语言复杂性并引入设计导致的偏差。
• 开发一种样本高效的强化学习框架，同时利用真实用户经验与基于学习世界模型生成的模拟经验。
• 通过直接强化学习与基于模型规划相结合的混合方法，使对话智能体能够高效地调整其策略。

提出的方法

• 将 Dyna-Q 框架与深度神经网络结合，实现在大规模连续状态-动作空间中的基于模型强化学习。
• 采用世界模型（神经网络）模拟用户响应，生成合成对话经验。
• 通过监督学习利用真实用户交互更新世界模型，随时间推移提升其保真度。
• 结合真实经验（直接强化学习）与模拟经验（通过世界模型进行规划）优化对话策略。
• 采用课程学习策略，智能体在真实交互与规划之间交替进行，每轮真实经验后执行 K 次模拟轨迹。
• 使用人类对话数据初始化世界模型，以提升样本效率与性能。

实验结果

研究问题

• RQ1 通过在深度强化学习中引入规划，对话智能体是否能在极少真实用户交互下实现高任务完成性能？
• RQ2 与标准 DQN 相比，学习世界模型的集成如何影响样本效率与策略鲁棒性？
• RQ3 在人类对话数据上预训练世界模型在多大程度上提升了学习效率与最终性能？
• RQ4 规划步数（K）的多少在多大程度上影响智能体在真实用户交互中泛化与成功的能力？

主要发现

• DDQ 智能体在仅经历 100 次真实用户对话后即达到 50% 的任务成功率，显著优于在相同条件下无法学习有效策略的 DQN。
• 增加规划步数（K=10 vs. K=5）带来更优性能，表明更积极的规划有助于提升策略泛化能力。
• 在人类对话数据上预训练世界模型可提升学习效率与最终性能，表现为 DDQ(5, rand-init θM) 优于 DDQ(5)，以及 DDQ(10, rand-init θM) 优于 DDQ(10)。
• 在人类参与的评估中，DDQ(10) 超过 DQN 与其他基线模型，两次运行共收集 1500 次总对话，证实了混合真实-模拟学习方法的有效性。
• 世界模型有效捕捉了用户行为模式，使智能体即使在真实数据有限的情况下也能生成合理响应并维持对话连贯性。
• 该方法在真实世界部署中表现出鲁棒性，智能体在极少真实交互后即在 50% 的情况下成功完成用户任务。