[论文解读] MULEX: Disentangling Exploitation from Exploration in Deep RL

Lucas Beyer, Damien Vincent+4 more|arXiv (Cornell University)|Jul 1, 2019

Reinforcement Learning in Robotics参考文献 25被引用 8

一句话总结

MULEX 提出了一种新颖的深度强化学习框架，通过并行优化各自的策略来显式解耦探索与利用。通过在单个回放缓冲区中共享经验并使用离策略方法，MULEX 实现了更优的样本效率和鲁棒性，在稀疏奖励及复杂环境（如 Montezuma's Revenge 变体）中优于 $\epsilon$-greedy 和加法奖励等基线方法。

ABSTRACT

An agent learning through interactions should balance its action selection process between probing the environment to discover new rewards and using the information acquired in the past to adopt useful behaviour. This trade-off is usually obtained by perturbing either the agent's actions (e.g., e-greedy or Gibbs sampling) or the agent's parameters (e.g., NoisyNet), or by modifying the reward it receives (e.g., exploration bonus, intrinsic motivation, or hand-shaped rewards). Here, we adopt a disruptive but simple and generic perspective, where we explicitly disentangle exploration and exploitation. Different losses are optimized in parallel, one of them coming from the true objective (maximizing cumulative rewards from the environment) and others being related to exploration. Every loss is used in turn to learn a policy that generates transitions, all shared in a single replay buffer. Off-policy methods are then applied to these transitions to optimize each loss. We showcase our approach on a hard-exploration environment, show its sample-efficiency and robustness, and discuss further implications.

研究动机与目标

• 通过解耦两个目标来解决深度强化学习中长期存在的探索-利用权衡问题。
• 克服现有方法通过共享策略或奖励塑形导致探索与利用纠缠的局限性。
• 在传统探索策略失效的稀疏奖励环境中，提升样本效率和鲁棒性。
• 通过避免对探索奖励进行退火或调节元超参数，实现稳定且可扩展的训练。
• 提供一个通用框架，支持集成各种探索奖励机制和离策略算法。

提出的方法

• 并行优化多个不同的损失函数：一个用于真实任务奖励（利用），其他用于探索目标（如基于计数的奖励）。
• 使用每个损失函数训练一个独立策略，生成的经验轨迹全部存储在单个共享回放缓冲区中。
• 应用离策略深度强化学习算法（如 DQN）使用共享经验缓冲区来优化每个策略。
• 解耦策略更新过程：利用者专注于最大化环境累积回报，而探索者则专注于探索奖励。
• 通过共享经验实现在策略间的动态交互，使利用者能够从探索性轨迹中获益。
• 支持即插即用式集成各种内在探索机制（如伪计数、新颖性度量），而无需修改核心训练循环。

实验结果

研究问题

• RQ1 显式解耦探索与利用是否能提升深度强化学习中的样本效率？
• RQ2 MULEX 在学习速度和稳定性方面与标准方法（如 $\epsilon$-greedy 和加法奖励方法）相比表现如何？
• RQ3 MULEX 在探索奖励不完美或近似的情况下，性能保持程度如何？
• RQ4 该解耦方法在复杂且稀疏奖励的环境中（如难度递增的 Montezuma’s Revenge）是否具备可扩展性？
• RQ5 MULEX 是否能维持长期探索而无需对内在奖励进行退火，从而支持终身学习？

主要发现

• 在困难的 Montezuma’s Revenge 变体中，MULEX 显著优于 $\epsilon$-greedy 和加法奖励基线方法，其中中位性能随房间大小增加而提升。
• 在 15×15 房间设置中，MULEX 的中位 AUC 高于加法方法，表明其更有效地利用了探索奖励。
• 在传送墙变体环境中，MULEX 始终优于两个基线方法，显示出对误导性探索信号的鲁棒性。
• 在随机幽灵环境中，MULEX 维持了优于基线方法的平均性能，尽管所有方法均表现不佳，表明在随机设置下仍有改进空间。
• 在基于伪计数的探索奖励下，MULEX 在几乎所有超参数配置中均达到最大回报，而加法方法则需要精细调参。
• 消融实验表明，MULEX 比其独立组件学习得更快且更稳定，证实了解耦优化的优势。