[论文解读] Efficient Exploration for Dialog Policy Learning with Deep BBQ Networks \& Replay Buffer Spiking.

Zachary C. Lipton, Jianfeng Gao+4 more|arXiv (Cornell University)|Aug 17, 2016

Topic Modeling参考文献 43被引用 49

一句话总结

本文提出两种技术以提升深度Q-learning在任务导向对话系统中的探索效率：使用贝叶斯-反向传播神经网络的汤普森采样，以及用成功轨迹对经验回放缓冲区进行注入。这些方法显著提升了样本效率，并使在标准$\epsilon$-greedy探索失败的情况下仍能成功学习成为可能。

ABSTRACT

When rewards are sparse and action spaces large, Q-learning with $\epsilon$-greedy exploration can be inefficient. This poses problems for otherwise promising applications such as task-oriented dialogue systems, where the primary reward signal, indicating successful completion of a task, requires a complex sequence of appropriate actions. Under these circumstances, a randomly exploring agent might never stumble upon a successful outcome in reasonable time. We present two techniques that significantly improve the efficiency of exploration for deep Q-learning agents in dialogue systems. First, we introduce an exploration technique based on Thompson sampling, drawing Monte Carlo samples from a Bayes-by-backprop neural network, demonstrating marked improvement over common approaches such as $\epsilon$-greedy and Boltzmann exploration. Second, we show that spiking the replay buffer with experiences from a small number of successful episodes, as are easy to harvest for dialogue tasks, can make Q-learning feasible when it might otherwise fail.

研究动机与目标

• 为解决对话策略学习中稀疏奖励和巨大动作空间的问题，其中随机探索无法发现成功轨迹。
• 通过用更智能的方法替代标准探索策略，提升深度Q-learning智能体的样本效率。
• 探究基于贝叶斯-反向传播的探索与经验回放缓冲区注入是否能加速对话策略训练的收敛。
• 评估在结合成功轨迹目标注入的前提下，深度Q-learning在对话系统中的可行性。

提出的方法

• 使用贝叶斯-反向传播神经网络生成的蒙特卡洛样本进行汤普森采样，以引导探索，替代$\epsilon$-greedy或Boltzmann探索。
• 应用贝叶斯神经网络以估计Q值预测的不确定性，从而实现对高不确定性动作的更有针对性探索。
• 将少量成功轨迹注入经验回放缓冲区，这些轨迹在对话系统中通常易于收集。
• 将经验回放缓冲区注入与深度Q-learning相结合，以提升学习稳定性和收敛速度。
• 结合贝叶斯探索与经验重放增强，构建在稀疏奖励环境中更高效的探索策略。

实验结果

研究问题

• RQ1 与$\epsilon$-greedy和Boltzmann探索相比，基于贝叶斯-反向传播网络的汤普森采样是否能提升对话策略学习中的探索效率？
• RQ2 在经验回放缓冲区中注入少量成功轨迹是否能显著提升深度Q-learning在对话系统中的学习性能？
• RQ3 贝叶斯探索与经验回放缓冲区注入的结合是否能使深度Q-learning在稀疏奖励和大动作空间环境中可行？
• RQ4 与标准探索基线相比，所提出方法在样本效率和收敛速度方面表现如何？

主要发现

• 使用贝叶斯-反向传播的汤普森采样在样本效率和收敛速度方面优于$\epsilon$-greedy和Boltzmann探索。
• 通过成功轨迹注入经验回放缓冲区，使深度Q-learning在原本因稀疏奖励而失败的环境中也能成功学习。
• 贝叶斯探索与经验回放缓冲区注入的结合，显著加快了任务导向对话策略学习的收敛速度并提升了成功率。
• 该方法在无需额外奖励塑形或环境修改的情况下，显著提升了学习效率。