[论文解读] Deep Reinforcement Learning with Dynamic Optimism.

Ted Moskovitz, Jack Parker-Holder+2 more|arXiv (Cornell University)|Feb 7, 2021

Advanced Bandit Algorithms Research参考文献 35被引用 3

一句话总结

本文提出DOPE，一种深度的异策略演员-critic算法，通过将选择问题建模为多臂赌博机问题，动态平衡价值估计中的乐观与悲观。通过在线调整乐观程度，DOPE在具有挑战性的连续控制任务中表现出优于固定乐观方法的性能，展示了在深度强化学习中动态处理不确定性的优势。

ABSTRACT

In recent years, deep off-policy actor-critic algorithms have become a dominant approach to reinforcement learning for continuous control. This comes after a series of breakthroughs to address function approximation errors, which previously led to poor performance. These insights encourage the use of pessimistic value updates. However, this discourages exploration and runs counter to theoretical support for the efficacy of optimism in the face of uncertainty. So which approach is best? In this work, we show that the optimal degree of optimism can vary both across tasks and over the course of learning. Inspired by this insight, we introduce a novel deep actor-critic algorithm, Dynamic Optimistic and Pessimistic Estimation (DOPE) to switch between optimistic and pessimistic value learning online by formulating the selection as a multi-arm bandit problem. We show in a series of challenging continuous control tasks that DOPE outperforms existing state-of-the-art methods, which rely on a fixed degree of optimism. Since our changes are simple to implement, we believe these insights can be extended to a number of off-policy algorithms.

研究动机与目标

• 解决悲观价值更新（可减少函数逼近误差）与理论支持的乐观探索之间的张力。
• 探究最优乐观程度是否在不同任务及训练过程中发生变化。
• 开发一种基于在线反馈自适应选择乐观或悲观价值学习的方法。
• 提升深度异策略强化学习在连续控制任务中的样本效率与最终性能。

提出的方法

• 将乐观程度的选择建模为多臂赌博机问题，以动态选择乐观或悲观的价值更新。
• 使用可学习机制，根据即时回报反馈在乐观与悲观价值估计之间切换。
• 将动态乐观机制集成到深度异策略演员-critic框架中，保持现有算法的结构不变。
• 使用标准的异策略回放机制，通过经验回放缓冲区训练智能体，同时在线学习乐观-悲观切换策略。
• 采用基于赌博机的探索策略，通过在每一步选择最有效的价值更新策略，平衡利用与探索。
• 分别维护乐观与悲观更新的价值估计，最终更新依据赌博机策略选择。

实验结果

研究问题

• RQ1 最优乐观程度是否在不同连续控制任务中有所不同？
• RQ2 与固定乐观或悲观策略相比，在线自适应乐观是否能提升学习性能？
• RQ3 在训练过程中动态切换乐观与悲观价值更新是否具有优势？
• RQ4 能否设计一种简单且模块化的机制，将动态乐观性集成到现有的异策略深度强化学习算法中？

主要发现

• DOPE在一系列具有挑战性的连续控制环境中的表现优于使用固定乐观程度的最先进异策略算法。
• 动态自适应乐观性相比静态乐观或悲观策略，能实现更快的学习速度与更高的最终性能。
• 通过自适应不确定性处理，该方法有效平衡探索与利用，从而实现更优的样本效率。
• 所提出的机制实现简单，可轻松扩展至其他异策略深度强化学习算法。