[论文解读] Uncertainty Estimates for Efficient Neural Network-based Dialogue Policy Optimisation

Christopher Tegho, Paweł Budzianowski+1 more|arXiv (Cornell University)|Nov 30, 2017

Speech and dialogue systems参考文献 16被引用 8

一句话总结

本文提出贝叶斯深度Q网络（BBQN），通过不确定性估计实现高效的对话策略学习，对比了诸如dropout、Concrete dropout、自举DQN和α散度等方法。BBQN在样本效率和抗噪声鲁棒性方面优于ε-greedy DQN，并与GPSARSA相当，实现了具有隐式正则化的稳定、高性能学习。

ABSTRACT

In statistical dialogue management, the dialogue manager learns a policy that maps a belief state to an action for the system to perform. Efficient exploration is key to successful policy optimisation. Current deep reinforcement learning methods are very promising but rely on epsilon-greedy exploration, thus subjecting the user to a random choice of action during learning. Alternative approaches such as Gaussian Process SARSA (GPSARSA) estimate uncertainties and are sample efficient, leading to better user experience, but on the expense of a greater computational complexity. This paper examines approaches to extract uncertainty estimates from deep Q-networks (DQN) in the context of dialogue management. We perform an extensive benchmark of deep Bayesian methods to extract uncertainty estimates, namely Bayes-By-Backprop, dropout, its concrete variation, bootstrapped ensemble and alpha-divergences, combining it with DQN algorithm.

研究动机与目标

• 通过引入不确定性估计，提升基于神经网络的对话策略学习的样本效率。
• 评估在对话管理中，贝叶斯深度学习方法在深度Q网络（DQN）中的不确定性估计性能。
• 在用户输入存在噪声的条件下，比较贝叶斯方法与ε-greedy DQN和GPSARSA的性能与鲁棒性。
• 评估不确定性感知策略在模拟用户输入中不同语义噪声水平下的泛化能力。
• 识别在计算成本与学习效率之间实现最佳平衡的最有效不确定性估计技术。

提出的方法

• 采用贝叶斯反向传播（BBQN）近似网络权重的后验分布，实现不确定性感知的动作选择的随机推理。
• 使用Thompson采样结合从后验分布中进行的蒙特卡洛采样来选择动作，替代ε-greedy探索，以提升探索效率。
• 对比四种贝叶斯方法：dropout、Concrete dropout、自举DQN和α散度最小化，均与DQN集成。
• 将不确定性估计应用于具有两层隐藏层（130、50个单元）的DQN，使用Adam优化器在剑桥餐厅领域进行训练。
• 通过具有15%训练误差和45%测试误差的模拟用户评估性能，以检验泛化能力。
• GPSARSA使用线性核，γ = 0.99，测量25轮对话的成功率。

实验结果

研究问题

• RQ1 哪种贝叶斯深度学习方法在对话策略学习中能提供最有效的不确定性估计以实现高效探索？
• RQ2 与ε-greedy探索相比，不确定性感知探索在样本效率和最终性能方面表现如何？
• RQ3 在用户输入存在高语义噪声时，贝叶斯DQN方法是否比ε-greedy DQN具有更好的泛化能力？
• RQ4 BBQN在干净和噪声条件下与最先进算法GPSARSA的性能相比如何？
• RQ5 BBQN中的隐式正则化是否相比标准DQN提升了训练稳定性？

主要发现

• BBQN在样本效率和最终成功率方面均达到与GPSARSA相当的性能，优于ε-greedy DQN及其他贝叶斯方法。
• 在测试时45%的语义错误率下，BBQN表现出更优的鲁棒性，成功率接近GPSARSA；而其他方法如dropout和Concrete dropout未能超越ε-greedy DQN。
• 具有5个头的自举DQN表现出稳定性能，但未超越ε-greedy DQN，且调整头数未带来显著提升。
• 尽管进行了自动dropout概率优化，Concrete dropout仍未提升学习效率；α散度方法在一致性上也未优于变分推断。
• 增加蒙特卡洛采样次数可降低梯度方差，但减缓了收敛速度，表明稳定性与训练速度之间存在权衡。
• BBQN通过KL散度约束实现的隐式正则化，相比原始DQN带来了更稳定的训练过程。