[论文解读] Switch-based Active Deep Dyna-Q: Efficient Adaptive Planning for Task-Completion Dialogue Policy Learning

Yuexin Wu, Xiujun Li+3 more|arXiv (Cornell University)|Nov 19, 2018

Topic Modeling参考文献 17被引用 5

一句话总结

本文提出了一种基于切换机制的主动深度动态Q学习（Switch-DDQ），这是一种新颖的强化学习框架，用于任务完成型对话策略学习。该框架通过可学习的切换器动态选择真实经验与模拟经验，并采用主动学习策略优先探索未访问的状态-动作空间。该方法在仿真和人类评估中均显著提升了样本效率和性能，优于深度动态Q学习（Deep Dyna-Q）和Q学习基线模型。

ABSTRACT

Training task-completion dialogue agents with reinforcement learning usually requires a large number of real user experiences. The Dyna-Q algorithm extends Q-learning by integrating a world model, and thus can effectively boost training efficiency using simulated experiences generated by the world model. The effectiveness of Dyna-Q, however, depends on the quality of the world model - or implicitly, the pre-specified ratio of real vs. simulated experiences used for Q-learning. To this end, we extend the recently proposed Deep Dyna-Q (DDQ) framework by integrating a switcher that automatically determines whether to use a real or simulated experience for Q-learning. Furthermore, we explore the use of active learning for improving sample efficiency, by encouraging the world model to generate simulated experiences in the state-action space where the agent has not (fully) explored. Our results show that by combining switcher and active learning, the new framework named as Switch-based Active Deep Dyna-Q (Switch-DDQ), leads to significant improvement over DDQ and Q-learning baselines in both simulation and human evaluations.

研究动机与目标

• 解决现有基于深度动态Q学习（DDQ）的对话策略学习框架在经验效率方面的不足，以及对模拟经验质量的敏感性问题。
• 消除训练过程中依赖手工设计启发式规则来平衡真实与模拟经验使用的需求。
• 通过在世界模型中主动采样未充分探索的状态-动作空间中的用户目标，提升样本效率。
• 开发一种鲁棒且自适应的框架，根据训练上下文动态选择真实或模拟经验。
• 通过仿真与人类评估，在真实世界任务完成场景中验证该框架的优越性。

提出的方法

• 引入基于LSTM实现的可学习切换器，自动决定在Q学习更新过程中使用真实经验还是模拟经验。
• 端到端联合训练切换器、对话策略与世界模型，以优化经验选择。
• 在世界模型中应用主动学习，从代理未充分探索的状态-动作对中生成模拟经验。
• 利用基于判别器的质量评估方法，指导切换器判断模拟经验的可靠性。
• 通过优先选择多样化且覆盖率低的用户目标，实现探索与利用之间的平衡。
• 通过整合自适应控制与主动采样，扩展DDQ框架，实现更鲁棒且高效的训练过程。

实验结果

研究问题

• RQ1 可学习的切换器是否能提升基于模型的强化学习在对话系统中经验选择的鲁棒性与效率？
• RQ2 在世界模型中对用户目标进行主动采样，是否能带来比均匀采样更优的覆盖度与更快的收敛速度？
• RQ3 Switch-DDQ在样本效率与最终策略性能方面，相较于DDQ与DQN表现如何？
• RQ4 该框架是否能在无需启发式调参的情况下，保持不同训练阶段的高性能？
• RQ5 自适应切换与主动学习的结合是否能在人类评估中取得更优结果？

主要发现

• Switch-DDQ在仿真与人类评估中均优于DQN与DDQ(5)，任务完成的成功率显著更高。
• 人类评估显示，用户更偏好Switch-DDQ，因其对话终止频率更低，主要由于对话轮次过多而中止的情况更少。
• 消融实验表明，主动学习显著提升了性能，尤其在数据稀缺的早期训练阶段，能有效降低偏差风险。
• Switch-DDQ在所有用户目标类别中均持续优于SU-DDQ（均匀采样变体），尤其在低成功率组中表现更优。
• 学习曲线显示，Switch-DDQ在后期训练阶段避免了性能下降，而DDQ(5)因模拟经验噪声过大而出现性能退化。
• Switch-DDQ通过生成更多样化的对话，并仅在适当时机使用高质量模拟经验，实现了更优的样本效率。