[论文解读] Efficient Dialogue Policy Learning with BBQ-Networks

Zachary C. Lipton, Xiujun Li+4 more|arXiv (Cornell University)|Aug 17, 2016

Speech and dialogue systems被引用 3

一句话总结

本文提出BBQ-Networks，一种通过贝叶斯-反向传播实现汤普森采样的深度Q-learning算法，以在对话系统中实现高效的探索。通过从Q值后验分布中采样，该方法在学习速度上优于ε-贪婪、玻尔兹曼分布、自助采样及内在奖励策略，且在经验回放缓冲区中成功轨迹稀疏时仍表现出更强的鲁棒性。

ABSTRACT

We present a new algorithm that significantly improves the efficiency of exploration for deep Q-learning agents in dialogue systems. Our agents explore via Thompson sampling, drawing Monte Carlo samples from a Bayes-by-Backprop neural network. Our algorithm learns much faster than common exploration strategies such as $\epsilon$-greedy, Boltzmann, bootstrapping, and intrinsic-reward-based ones. Additionally, we show that spiking the replay buffer with experiences from just a few successful episodes can make Q-learning feasible when it might otherwise fail.

研究动机与目标

• 解决对话系统中深度Q-learning智能体探索效率低下的问题。
• 通过改进探索策略，降低对话智能体训练的样本复杂度。
• 即使仅有少量成功对话轨迹可用于经验回放，也能实现有效学习。
• 探索通过战略性地初始化经验回放缓冲区，使Q-learning在低数据场景下可行。

提出的方法

• 该方法采用贝叶斯-反向传播训练神经网络，以保持Q值的后验分布，从而实现对不确定性的感知动作选择。
• 探索通过汤普森采样实现，即从每个动作的Q值后验分布中采样以选择动作。
• 网络通过随机反向传播进行训练，以近似网络权重的真实后验分布。
• 该算法使用一个仅用少量成功对话轨迹稀疏初始化的经验回放缓冲区。
• 训练过程中使用贝叶斯网络应用Q-learning，以生成具有不确定性的价值估计。
• 该方法将贝叶斯深度学习与离策略强化学习相结合，以提升样本效率和收敛速度。

实验结果

研究问题

• RQ1 与标准探索策略相比，通过贝叶斯-反向传播实现的汤普森采样是否能显著提升对话策略学习中的探索效率？
• RQ2 当使用所提出的贝叶斯方法仅用少量成功对话轨迹初始化经验回放缓冲区时，Q-learning的性能如何变化？
• RQ3 贝叶斯探索在多大程度上降低了对话策略训练的样本复杂度？
• RQ4 与ε-贪婪、玻尔兹曼分布或基于自助采样的探索相比，后验采样是否能带来更快的收敛速度？
• RQ5 在标准Q-learning失效的低数据场景下，贝叶斯深度Q-learning是否仍能保持有效性？

主要发现

• BBQ-Networks在学习收敛速度上优于ε-贪婪、玻尔兹曼分布、自助采样及基于内在奖励的探索策略。
• 即使经验回放缓冲区仅用少量成功轨迹初始化，该方法仍表现出稳健的性能。
• 通过贝叶斯-反向传播实现的汤普森采样通过显式建模Q值估计的不确定性，实现了更有效的探索。
• 贝叶斯方法使Q-learning在标准Q-learning可能失效的低数据场景下仍保持可行性和有效性。
• 该算法通过不确定性感知的探索，降低了样本复杂度，并加速了对话系统中的策略学习。