[论文解读] ToyBox: Better Atari Environments for Testing Reinforcement Learning Agents

John Foley, Emma Tosch+2 more|arXiv (Cornell University)|Dec 6, 2018

Reinforcement Learning in Robotics参考文献 17被引用 6

一句话总结

ToyBox 是对 Atari 游戏的白盒重实现，旨在通过暴露语义游戏状态并支持程序化操作，实现对强化学习（RL）智能体的严格测试。它支持验收测试、训练过程中的动态分析以及测试集生成。实验表明，PPO2 智能体在 Breakout 游戏中未能满足关键行为要求，如隧道利用和角度无关的球控制。

ABSTRACT

It is a widely accepted principle that software without tests has bugs. Testing reinforcement learning agents is especially difficult because of the stochastic nature of both agents and environments, the complexity of state-of-the-art models, and the sequential nature of their predictions. Recently, the Arcade Learning Environment (ALE) has become one of the most widely used benchmark suites for deep learning research, and state-of-the-art Reinforcement Learning (RL) agents have been shown to routinely equal or exceed human performance on many ALE tasks. Since ALE is based on emulation of original Atari games, the environment does not provide semantically meaningful representations of internal game state. This means that ALE has limited utility as an environment for supporting testing or model introspection. We propose ToyBox, a collection of reimplementations of these games that solves this critical problem and enables robust testing of RL agents.

研究动机与目标

• 解决 Arcade Learning Environment (ALE) 中 Atari 游戏作为黑箱环境所导致的可测试性和可观察性不足问题。
• 使研究人员能够正式测试训练后的 RL 智能体是否满足人类可理解的行为标准，例如在不同游戏状态下保持一致的表现。
• 通过提供完全可配置、语义明确的环境，克服 ALE 中不透明、模拟的游戏状态的局限性。
• 通过可编程的游戏变体，促进稳健的验收测试、训练过程中的动态监控以及课程学习。
• 证明即使在 ALE 中得分较高，标准 RL 智能体也常常无法满足直观的行为期望。

提出的方法

• 在完全可配置的白盒框架中重实现经典 Atari 游戏（例如 Breakout），并将内部游戏状态作为一等数据暴露。
• 设计环境以支持程序化状态操作，包括设置初始球角度、砖块配置和挡板位置。
• 将高层次的行为要求（R1–R3）定义为可测试的假设，例如在孤立状态下击碎砖块或利用隧道。
• 使用 OpenAI Baselines 的 PPO2 算法在标准设置下于 Breakout 上训练智能体，随后在受控的 ToyBox 条件下进行评估。
• 通过改变游戏参数（例如球角度、砖块布局）生成合成测试集，以评估智能体的鲁棒性和泛化能力。
• 使用极坐标图和中位数步数可视化结果，量化智能体在不同起始条件和配置下的表现。

实验结果

研究问题

• RQ1 我们能否以 ALE 环境中不可行的方式，定义并测试 RL 智能体的高层次行为要求？
• RQ2 在 Breakout 上训练的深度 RL 智能体在多大程度上表现出角度无关的球控制，这是实现稳健游戏所必需的？
• RQ3 智能体能否可靠地利用预存在的隧道以实现高分，正如人类水平理解所预期的那样？
• RQ4 智能体在不同初始游戏状态下的表现如何变化？我们能否检测到动作选择中的系统性偏差？
• RQ5 我们能否通过透明且可组合的环境，在训练过程中检测到问题行为（例如重复的球反弹）？

主要发现

• 在 5000 万步训练后，PPO2 智能体在 R2 的所有初始球角度下均取得了高分，表现出较强的角无关性，尽管存在较高方差，并在垂直角度下偶尔失败。
• 智能体未能满足 R1（孤立砖块清除）要求，因为部分砖块需要显著更多的步数才能清除，表明学习不一致。
• 训练 1000 万步的智能体表现出强烈偏好将球击打到屏幕右侧，而训练 5000 万步的智能体则更倾向于击打中心列，表明存在学习到的偏差。
• R3（隧道利用）未被支持：智能体未能可靠地瞄准几乎完成的隧道中的最后一块砖，反而表现出可预测的、非自适应的行为。
• 在 30 次试验中，训练 5000 万步的智能体在所有起始角度下均成功完成完整关卡，表明对初始条件具有高度鲁棒性。
• 一种反复出现的行为——在挡板中心反复反弹球——被观察到，这种行为不符合人类行为模式，表明智能体未能超越狭窄策略行为进行泛化。