[论文解读] BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems

Zachary C. Lipton, Xiujun Li+4 more|arXiv (Cornell University)|Aug 17, 2016

Speech and dialogue systems被引用 98

一句话总结

BBQN 使用 Bayes-by-Backprop 基于 Thompson 采样的 Q-learning 来进行任务导向对话中的学习，在标准探索方法之上实现了更优的探索，并能够通过有效的回放缓冲区 spike 加速学习。真实与仿真实验均显示出更高的探索效率和领域扩展的适应性。

ABSTRACT

We present a new algorithm that significantly improves the efficiency of exploration for deep Q-learning agents in dialogue systems. Our agents explore via Thompson sampling, drawing Monte Carlo samples from a Bayes-by-Backprop neural network. Our algorithm learns much faster than common exploration strategies such as $ε$-greedy, Boltzmann, bootstrapping, and intrinsic-reward-based ones. Additionally, we show that spiking the replay buffer with experiences from just a few successful episodes can make Q-learning feasible when it might otherwise fail.

研究动机与目标

• 在多轮任务导向对话系统中推动高效探索的研究目标。
• 提出 BBQN，一种使用 Thompson 采样进行动作选择的 Bayes-by-Backprop Q-network。
• 引入回放缓冲区 spike，以从少量成功 episode 中引导学习。
• 在静态和域扩展的对话环境中评估 BBQN 相对于标准探索方法。
• 通过仿真和真实用户评估展示收益。

提出的方法

• 对权重进行贝叶斯神经网络表示的 Q 函数，形成 q(w|θ) 的高斯对角后验分布。
• 使用 Thompson 采样从 q 中采样权重并选择 argmax Q(s,a;w) 来进行动作选择。
• 采用冻结的目标网络和基于 MAP 的目标以提高稳定性和效率。
• 可选地结合 VIME 风格的内在奖励（BBQN-VIME）以在不确定区域促进探索。
• 在回放缓冲区中预填充少量成功的、基于规则的经验以加速学习（回放缓冲区 spike）。
• 体系结构：两层 256 节点隐藏层的 MLP，ReLU 激活，Adam 优化；268 维状态特征；通过逐步添加槽位/特征实现域扩展处理。

实验结果

研究问题

• RQ1 BBQN 是否在任务导向对话中的探索效率优于标准 DQN 的探索策略？
• RQ2 贝叶斯权重不确定性如何影响对话策略中的探索与学习？
• RQ3 回放缓冲区 spike 对学习速度和最终策略性能有何影响？
• RQ4 BBQN 是否能够适应域扩展场景，即随时间新增槽位的情况？
• RQ5 在静态和域扩展设置中，BBQN 与基于内在奖励的探索（如 VIME）相比如何？

主要发现

• BBQN 的变体在全域和域扩展设置中均优于 epsilon-greedy、Boltzmann 和 bootstrap DQN 基线。
• BBQN-MAP 在全域设定中表现最佳，而 BBQN-VIME-MC 在域扩展情境中表现出色。
• 回放缓冲区 spike 对让 BBQN 和 DQN 学习至关重要，且在预填充对话数量超过某个阈值后收益趋于饱和。
• 真实用户评估显示 BBQN 在域扩展后在成功率和用户评分的自然性/连贯性方面显著优于 DQN。
• 在所有实验中，使用 MAP 目标并结合蒙特卡洛采样进行动作选择可在保持训练效率的同时提供强劲性能。
• 带有内在奖励的 BBQN（BBQN-VIME）在非平稳环境中提供了有竞争力的增益。