[论文解读] MinAtar: An Atari-Inspired Testbed for Thorough and Reproducible Reinforcement Learning Experiments

Kenny Young, Tian Tian|arXiv (Cornell University)|Mar 7, 2019

Reinforcement Learning in Robotics参考文献 16被引用 42

一句话总结

MinAtar 提供五个简化的、以雅达利为灵感的环境，具备 10x10 网格和语义意义明确的通道，以实现可重复、以行为为导向的 RL 实验，降低表示复杂度。

ABSTRACT

The Arcade Learning Environment (ALE) is a popular platform for evaluating reinforcement learning agents. Much of the appeal comes from the fact that Atari games demonstrate aspects of competency we expect from an intelligent agent and are not biased toward any particular solution approach. The challenge of the ALE includes (1) the representation learning problem of extracting pertinent information from raw pixels, and (2) the behavioural learning problem of leveraging complex, delayed associations between actions and rewards. Often, the research questions we are interested in pertain more to the latter, but the representation learning problem adds significant computational expense. We introduce MinAtar, short for miniature Atari, a new set of environments that capture the general mechanics of specific Atari games while simplifying the representational complexity to focus more on the behavioural challenges. MinAtar consists of analogues of five Atari games: Seaquest, Breakout, Asterix, Freeway and Space Invaders. Each MinAtar environment provides the agent with a 10x10xn binary state representation. Each game plays out on a 10x10 grid with n channels corresponding to game-specific objects, such as ball, paddle and brick in the game Breakout. To investigate the behavioural challenges posed by MinAtar, we evaluated a smaller version of the DQN architecture as well as online actor-critic with eligibility traces. With the representation learning problem simplified, we can perform experiments with significantly less computational expense. In our experiments, we use the saved compute time to perform step-size parameter sweeps and more runs than is typical for the ALE. Experiments like this improve reproducibility, and allow us to draw more confident conclusions. We hope that MinAtar can allow researchers to thoroughly investigate behavioural challenges similar to those inherent in the ALE.

研究动机与目标

• 提供一个更小、可重复的测试床，捕捉雅达利游戏的核心行为挑战。
• 在保留关键游戏机制的同时，降低表示学习的复杂性。
• 通过更快的训练和更多的种子，实现广泛、统计上稳健的实验。
• 展示不同的 RL 方法在 MinAtar 内以行为为焦点的任务上的表现。

提出的方法

• 提供五个 MinAtar 环境（Seaquest、Breakout、Asterix、Freeway、Space Invaders），映射到一个 10x10 的网格，具有 n 个语义通道。
• 使用一个简化的行动空间，共六个动作（四个基向移动、射击、空动作）。
• 提供简化的奖励和语义意义明确的输入通道，以绕过基于像素的表示学习。
• 通过黏性动作和随机出生位置引入随机性，增加变异性。
• 评估带经验回放的 DQN 变体以及具时序差分估计的在线演员-评论家（AC(λ)）。
• 使用更小的网络（DQN: 16x3x3 卷积，128 单位的全连接）并训练到 5 百万帧，以实现 CPU 训练和参数扫描。

实验结果

研究问题

• RQ1 不同的 RL 算法（带或不带经验回放的 DQN、AC(λ)）在简化的、以行为而非表示学习为焦点的以雅达利为灵感的任务上的表现如何？
• RQ2 步长超参数和 eligibility traces 对 MinAtar 环境中的学习稳定性和性能有何影响？
• RQ3 MinAtar 环境是否能揭示与 Atari 游戏类似的定性行为差异和类似课程的动态，同时允许更全面的实验？
• RQ4 MinAtar 是否可以作为一个高效的代理来研究探索、信用分配和策略稳定性，且计算成本更低？

主要发现

• DQN 在初始训练阶段的提升速度快于 AC(λ)，但在较长时间内，AC(λ) 在若干环境中可能超越 DQN。
• 经验回放对 DQN 在所有游戏中均具有明显优势；没有回放的 DQN 表现较差。
• 具有 RMSProp 的在线 AC(λ) 以及激活函数（SiLU/dSiLU）在某些任务中实现了稳定性和具有竞争力的性能。
• MinAtar 允许在每个代理-环境对上进行 30 次随机种子训练，从而实现更紧密的置信区间和全面的超参数扫描。
• 观察到的定性行为包括 Breakout 的路径清除策略和 Seaquest 的浮水线浮出趋势，展示出有意义的行为动力学，而不需要完整的 Atari 复杂性。