[论文解读] Temporally-Extended {\epsilon}-Greedy Exploration

Will Dabney, Georg Ostrovski+1 more|arXiv (Cornell University)|Jun 2, 2020

Evolutionary Algorithms and Applications参考文献 72被引用 13

一句话总结

该论文提出了一种时序扩展的 ϵ-greedy 探索方法，其中智能体在随机持续时间内重复执行同一动作，以提升探索的持久性。该方法在稀疏奖励环境（如 Atari 游戏）中显著提升了性能，同时在密集奖励任务中保持了强劲表现，在复杂内在动机方法表现不佳的高难度探索游戏中表现更优，且未在简单任务上造成性能损失。

ABSTRACT

Recent work on exploration in reinforcement learning (RL) has led to a series of increasingly complex solutions to the problem. This increase in complexity often comes at the expense of generality. Recent empirical studies suggest that, when applied to a broader set of domains, some sophisticated exploration methods are outperformed by simpler counterparts, such as {\\epsilon}-greedy. In this paper we propose an exploration algorithm that retains the simplicity of {\\epsilon}-greedy while reducing dithering. We build on a simple hypothesis: the main limitation of {\\epsilon}-greedy exploration is its lack of temporal persistence, which limits its ability to escape local optima. We propose a temporally extended form of {\\epsilon}-greedy that simply repeats the sampled action for a random duration. It turns out that, for many duration distributions, this suffices to improve exploration on a large set of domains. Interestingly, a class of distributions inspired by ecological models of animal foraging behaviour yields particularly strong performance.

研究动机与目标

• 为解决标准 ϵ-greedy 探索缺乏时间持久性的问题，提出一种时序扩展的变体，使智能体能够执行更长、更有效的探索阶段。
• 在保持 ϵ-greedy 简洁性和通用性的同时，提升其逃离局部最优和探索稀有高回报轨迹的能力。
• 评估对 ϵ-greedy 的最小修改——即随机重复动作——是否能在多样化环境中实现与复杂内在动机方法相当或更优的性能。
• 探究受生态觅食模型（如 Lévy 飞行）启发的持续时间分布是否能带来特别出色的探索性能。
• 证明该方法可提升探索效率，且无需针对特定领域调整超参数或使用复杂的函数逼近器。

提出的方法

• 该方法将标准 ϵ-greedy 的每步随机动作选择替换为：智能体以概率 ϵ 均匀随机选择一个动作，然后在从指定分布中采样的随机持续时间内重复执行该动作。
• 每次探索阶段的持续时间独立采样，决定同一动作被执行的时长，之后智能体恢复贪婪行为。
• 该方法作为现有强化学习算法的简单扩展实现，无需架构修改或额外函数逼近器。
• 持续时间分布是关键设计选择；论文评估了多种分布，包括指数分布和受动物觅食行为启发的重尾（Lévy 类似）分布。
• 该方法被应用于表格型、线性及深度强化学习智能体（如 R2D2、Rainbow），在所有设置中均表现出一致的性能提升。
• 该算法命名为 ϵz-greedy，其中 'z' 表示动作重复的随机持续时间。

实验结果

研究问题

• RQ1 时序扩展的 ϵ-greedy 探索是否能显著提升在稀疏奖励强化学习环境中的性能？
• RQ2 通过随机动作重复引入时间持久性，是否能提升智能体逃离局部最优的能力？
• RQ3 不同持续时间分布（如指数分布、重尾分布）如何影响探索性能及在不同环境中的泛化能力？
• RQ4 对 ϵ-greedy 的简单修改是否能在高难度探索 Atari 游戏中超越更复杂的内在动机方法（如 RND、伪计数或 Bootstrap）？
• RQ5 所提出的方法是否在提升稀疏奖励环境性能的同时，仍能保持在密集奖励环境中的强性能？

主要发现

• 在 Atari-57 基准测试中，使用 ϵz-greedy 的 R2D2 智能体实现了 0.077 的中位人类差距，优于 R2D2+RND（0.151）和 R2D2+Bootstrap（0.096），且在简单游戏中与原始 R2D2 性能相当。
• 在 Atari 游戏的高难度探索子集上，ϵz-greedy 相较于标准 ϵ-greedy 将中位人类差距降低了 24%。
• 在 R2D2 智能体上，ϵz-greedy 在 300 亿帧后于 Atari-57 上实现了 17.77 的中位得分，优于 R2D2+RND（11.14）和 R2D2+Bootstrap（16.62）。
• 在六个消融游戏上，该方法表现出一致的性能增益，其结果与链式 MDP 环境中的观察结果高度一致，验证了其泛化能力。
• 使用重尾（Lévy 类似）持续时间分布带来了特别出色的性能，表明生物启发设计可有效指导探索策略设计。
• 与内在动机方法不同，ϵz-greedy 在密集奖励游戏中未出现显著性能损失，且在所有 Atari 环境中均保持了强劲表现。