[论文解读] Benchmarking Bonus-Based Exploration Methods on the Arcade Learning Environment

Adrien Ali Taïga, William Fedus+3 more|arXiv (Cornell University)|Aug 6, 2019

Reinforcement Learning in Robotics参考文献 26被引用 21

一句话总结

本论文在Arcade Learning Environment中使用固定的强化学习智能体（Rainbow）和2亿训练帧，对基于奖励的探索方法进行了基准测试。结果发现，近期的探索奖励在Montezuma’s Revenge或其他高难度探索游戏中几乎未带来性能提升，通常表现不如简单的ε-greedy探索，甚至在较简单游戏中损害性能，表明当前方法缺乏鲁棒性和泛化能力。

ABSTRACT

This paper provides an empirical evaluation of recently developed exploration algorithms within the Arcade Learning Environment (ALE). We study the use of different reward bonuses that incentives exploration in reinforcement learning. We do so by fixing the learning algorithm used and focusing only on the impact of the different exploration bonuses in the agent's performance. We use Rainbow, the state-of-the-art algorithm for value-based agents, and focus on some of the bonuses proposed in the last few years. We consider the impact these algorithms have on performance within the popular game Montezuma's Revenge which has gathered a lot of interest from the exploration community, across the the set of seven games identified by Bellemare et al. (2016) as challenging for exploration, and easier games where exploration is not an issue. We find that, in our setting, recently developed bonuses do not provide significantly improved performance on Montezuma's Revenge or hard exploration games. We also find that existing bonus-based methods may negatively impact performance on games in which exploration is not an issue and may even perform worse than $ε$-greedy exploration.

研究动机与目标

• 在标准化条件下，对近期基于奖励的强化学习探索方法进行公平评估。
• 通过固定学习算法（Rainbow）和训练时长（2亿帧），隔离探索奖励的影响。
• 评估在Montezuma’s Revenge上的表现是否能推广到其他高难度探索游戏及更简单的Atari游戏。
• 挑战一种假设，即复杂探索奖励在挑战性环境中是实现高性能所必需的。

提出的方法

• 本研究以Rainbow作为基础智能体，在相同的Atari 2600游戏集合上应用多种内在奖励方法——伪计数（使用CTS和PixelCNN）、ICM和RND。
• 每种方法计算一个内在奖励信号 $ i_t $，通过 $ r_t = e_t + \beta \cdot i_t $ 与环境奖励 $ e_t $ 结合，其中 $ \beta $ 为缩放超参数。
• 伪计数通过密度模型（CTS或PixelCNN）计算，预测增益 $ \text{PG}_t(s) $ 用于估计状态新颖性。
• ICM使用学习到的特征嵌入，并通过训练逆模型和前向模型来计算预测误差作为内在奖励。
• RND使用一个随机神经网络来预测当前状态的表征，内在奖励基于预测误差。
• 所有方法均在26款Atari 2600游戏中进行评估，包括Bellemare等人（2016）的高难度探索游戏集及更简单的游戏，结果基于5个随机种子取平均。

实验结果

研究问题

• RQ1 在使用Rainbow和2亿帧训练的相同条件下，基于奖励的探索方法在Montezuma’s Revenge上的表现如何？
• RQ2 在Bellemare等人（2016）基准测试中，那些在Montezuma’s Revenge上表现良好的方法是否能在其他高难度探索游戏中实现泛化？
• RQ3 基于奖励的探索方法是否能提升在探索不具挑战性的简单Atari游戏中的性能？
• RQ4 近期探索奖励带来的性能增益是否具有鲁棒性，还是简单的ε-greedy方法仍具竞争力？

主要发现

• 在Montezuma’s Revenge上，当训练时长和智能体架构固定时，近期基于奖励的方法相比旧方法或ε-greedy探索未表现出显著性能提升。
• 在Bellemare等人（2016）的六款高难度探索游戏中，基于奖励的方法表现与ε-greedy探索相当，且显著低于人类水平表现。
• 在Asterix和Seaquest等更简单的Atari游戏中，伪计数及其他奖励方法的表现持续低于ε-greedy，部分方法甚至损害性能。
• NoisyNets（不依赖内在奖励）在所有游戏中均匹配或优于ε-greedy及基于奖励的方法，表明其可能更具鲁棒性。
• 在Montezuma’s Revenge上表现良好的探索奖励，并不能预测其在其他高难度探索游戏中的表现，表明在环境间泛化能力差。
• 本研究结论认为，当前基于奖励的探索方法并非可靠有益，甚至在简单环境中可能有害，亟需开发更具鲁棒性的探索算法。