[论文解读] Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning

Shang‐Yu Su, Xiujun Li+3 more|arXiv (Cornell University)|Aug 28, 2018

Speech and dialogue systems参考文献 22被引用 11

一句话总结

本文提出判别式深度Dyna-Q（D3Q），一种基于模型的强化学习框架，利用基于RNN的判别器在规划过程中过滤低质量的模拟经验，从而提升对话策略学习的鲁棒性。通过区分真实与模拟的用户交互，D3Q在性能上优于深度Dyna-Q（DDQ），在仿真中实现68%的成功率，并在人类评估和领域扩展场景中优于基线模型。

ABSTRACT

This paper presents a Discriminative Deep Dyna-Q (D3Q) approach to improving the effectiveness and robustness of Deep Dyna-Q (DDQ), a recently proposed framework that extends the Dyna-Q algorithm to integrate planning for task-completion dialogue policy learning. To obviate DDQ's high dependency on the quality of simulated experiences, we incorporate an RNN-based discriminator in D3Q to differentiate simulated experience from real user experience in order to control the quality of training data. Experiments show that D3Q significantly outperforms DDQ by controlling the quality of simulated experience used for planning. The effectiveness and robustness of D3Q is further demonstrated in a domain extension setting, where the agent's capability of adapting to a changing environment is tested.

研究动机与目标

• 解决基于模型的强化学习在对话系统中因低质量模拟经验导致策略学习性能下降的挑战。
• 减少对Deep Dyna-Q（DDQ）中规划频率的启发式调参依赖，该方法在训练后期对模拟经验质量高度敏感。
• 提升对话智能体在动态、演化环境（如领域扩展场景）中的鲁棒性与泛化能力。
• 通过集成判别机制确保仅使用高质量模拟经验进行规划，实现高效且可扩展的对话策略学习。
• 通过仿真、人类评估和领域扩展实验验证所提框架的有效性，结果表明其在性能上优于DQN和DDQ。

提出的方法

• 在Deep Dyna-Q框架中引入判别器网络，以区分真实用户经验与世界模型生成的模拟经验。
• 将判别器用作质量过滤器：仅将被分类为‘真实’（即与真实数据无法区分）的模拟经验用于规划。
• 使用真实用户经验联合训练世界模型与判别器，使两者迭代优化并逐步提高质量阈值。
• 维持双层训练循环：在真实经验上进行直接强化学习，在经筛选的模拟经验上进行间接强化学习。
• 在基于模型的强化学习设置中应用该框架，其中世界模型生成假设的状态转移，判别器确保仅使用高保真轨迹进行规划。
• 借鉴生成对抗网络（GANs）的对抗训练原则，提升模拟经验的真实性，而无需显式奖励设计或启发式阈值。

实验结果

研究问题

• RQ1 判别机制能否提升规划中所用模拟经验的质量，从而增强对话策略学习的鲁棒性？
• RQ2 在仿真与人类评估中，所提出的D3Q框架相较于DDQ和DQN的性能表现如何，成功率如何？
• RQ3 D3Q在动态、演化环境（如领域扩展场景）中的泛化能力如何？
• RQ4 基于判别器的过滤机制能否减少训练过程中对规划频率启发式超参数调优的需求？
• RQ5 世界模型与判别器的联合训练是否能随时间推移逐步生成更高品质的模拟经验？

主要发现

• D3Q显著优于DDQ，在100个训练周期后仿真成功率超过68%，而DDQ仅为50%-60%。
• 当规划步数增加时，DDQ性能急剧下降——DDQ(10, 固定θG)在300个训练周期后成功率降至0%，而D3Q保持高性能。
• 在领域扩展场景中，D3Q优于DQN与DDQ，展现出在复杂、动态变化环境中的强鲁棒性。
• 人类评估证实D3Q具有显著优势：其成功率显著高于DDQ与DQN，p值<0.05，具有统计显著性。
• D3Q在新环境中的泛化能力出色：在领域扩展后（第130周期后）进行微调的智能体仍优于早期模型，展现出强大的适应能力。
• 判别器能有效过滤低质量模拟经验，使D3Q在训练后期仍能实现稳定且高效的规划，而DDQ在此阶段已失效。