[论文解读] Effective Exploration for Deep Reinforcement Learning via Bootstrapped Q-Ensembles under Tsallis Entropy Regularization

Gang Chen, Yiming Peng+1 more|arXiv (Cornell University)|Sep 2, 2018

Reinforcement Learning in Robotics参考文献 35被引用 8

一句话总结

本文提出了一种基于Tsallis熵正则化的自举Q-集成算法（BQETR），这是一种深度强化学习算法，通过结合Tsallis熵正则化与自举Q网络集成，提升了探索效率。通过使用Tsallis熵的一般形式来引导随机策略学习，并在不同Q网络中采用不同的正则化参数，BQETR在Atari游戏上的探索效率和样本效率均优于先前方法（如自举DQN和UCB Q-集成）。

ABSTRACT

Recently deep reinforcement learning (DRL) has achieved outstanding success on solving many difficult and large-scale RL problems. However the high sample cost required for effective learning often makes DRL unaffordable in resource-limited applications. With the aim of improving sample efficiency and learning performance, we will develop a new DRL algorithm in this paper that seamless integrates entropy-induced and bootstrap-induced techniques for efficient and deep exploration of the learning environment. Specifically, a general form of Tsallis entropy regularizer will be utilized to drive entropy-induced exploration based on efficient approximation of optimal action-selection policies. Different from many existing works that rely on action dithering strategies for exploration, our algorithm is efficient in exploring actions with clear exploration value. Meanwhile, by employing an ensemble of Q-networks under varied Tsallis entropy regularization, the diversity of the ensemble can be further enhanced to enable effective bootstrap-induced exploration. Experiments on Atari game playing tasks clearly demonstrate that our new algorithm can achieve more efficient and effective exploration for DRL, in comparison to recently proposed exploration methods including Bootstrapped Deep Q-Network and UCB Q-Ensemble.

研究动机与目标

• 通过提升探索效率来解决深度强化学习（DRL）中的高样本成本问题。
• 克服现有方法中基于动作抖动和置信度边界探索的局限性。
• 通过统一框架无缝整合熵诱导探索与自举诱导探索。
• 开发一种新颖算法，利用Tsallis熵正则化实现更精准和高效的探索。
• 在基准Atari环境上展示更优的样本效率和性能。

提出的方法

• 引入Tsallis熵正则化的一般形式，推导出优先选择高探索价值动作的最优随机策略。
• 采用Q网络集合，每个网络使用不同的Tsallis熵参数$q$，以增强多样性并提升自举诱导的探索。
• 使用计算高效的最优策略近似方法，避免难以计算的复杂运算。
• 在训练过程中逐步将正则化系数$\alpha$减小至零，实现从探索到利用的平滑过渡。
• 通过Bellman残差分析表明，该近似方法不会降低最终性能。
• 结合基于熵的动作选择与集合采样，实现深度探索，而无需仅依赖随机初始化。

实验结果

研究问题

• RQ1 与Shannon熵或动作抖动相比，Tsallis熵正则化是否能提升深度强化学习中的探索效率？
• RQ2 将Tsallis熵正则化与自举Q-集成相结合，是否能增强探索的多样性与性能？
• RQ3 所提出的BQETR算法在Atari游戏中是否实现了优于自举DQN和UCB Q-集成的样本效率？
• RQ4 逐步减小正则化系数对策略收敛性和性能有何影响？
• RQ5 Tsallis熵的一般形式是否能避免在低价值动作上出现非均匀探索质量的问题？

主要发现

• BQETR在Atari游戏基准测试中，探索效率优于自举DQN和UCB Q-集成。
• 使用Tsallis熵正则化可减少在低探索价值动作上的非均匀概率质量，使策略更聚焦于有前景的动作。
• Bellman残差分析表明，Tsallis正则化下最优策略的近似方法维持了性能。
• 正则化系数$\alpha$的渐进衰减实现了从探索到利用的平稳过渡。
• 通过在Q网络间改变$q$参数，增强了集合的多样性，从而提升了自举诱导的探索效果。
• 实证结果证实，BQETR兼具高样本效率与高效性，在Atari环境中优于当前最先进的探索方法。