[论文解读] Challenges of Context and Time in Reinforcement Learning: Introducing Space Fortress as a Benchmark

Akshat Agarwal, Ryan M. Hope+1 more|arXiv (Cornell University)|Sep 6, 2018

Reinforcement Learning in Robotics参考文献 27被引用 5

一句话总结

本文提出 Space Fortress 作为强化学习的新基准，强调情境依赖的策略切换与时间敏感性——这两点在现实世界强化学习应用中至关重要却长期被忽视。尽管最先进的算法如 PPO、A2C 和 Rainbow 在稀疏奖励下无法学会该游戏，但通过奖励塑形减轻情境识别难度后，性能显著提升，表明情境不敏感是主要失败模式，而即使在迁移学习下，时间理解能力仍有限。

ABSTRACT

Research in deep reinforcement learning (RL) has coalesced around improving performance on benchmarks like the Arcade Learning Environment. However, these benchmarks conspicuously miss important characteristics like abrupt context-dependent shifts in strategy and temporal sensitivity that are often present in real-world domains. As a result, RL research has not focused on these challenges, resulting in algorithms which do not understand critical changes in context, and have little notion of real world time. To tackle this issue, this paper introduces the game of Space Fortress as a RL benchmark which incorporates these characteristics. We show that existing state-of-the-art RL algorithms are unable to learn to play the Space Fortress game. We then confirm that this poor performance is due to the RL algorithms' context insensitivity and reward sparsity. We also identify independent axes along which to vary context and temporal sensitivity, allowing Space Fortress to be used as a testbed for understanding both characteristics in combination and also in isolation. We release Space Fortress as an open-source Gym environment.

研究动机与目标

• 解决深度强化学习中缺乏强调突发情境依赖策略切换与时间敏感性的基准问题。
• 证明当前 SOTA 强化学习算法在需要此类能力的环境中，尽管存在稀疏奖励与复杂时间约束，仍无法学习。
• 在 Space Fortress 中识别并隔离情境与时间敏感性的轴线，以支持针对这些挑战的针对性研究。
• 验证情境不敏感——而非稀疏奖励结构——是该基准上 RL 代理表现不佳的主要原因。
• 发布开源的 Gym 环境用于 Space Fortress，以支持情境与时间敏感强化学习的可复现研究。

提出的方法

• 基于原始 Space Fortress 街机游戏设计自定义强化学习环境，要求智能体在要塞进入脆弱状态时立即切换射击策略。
• 实施稀疏奖励结构，仅对要塞摧毁与成功双发射击给予奖励，以模拟现实世界中的稀疏反馈。
• 引入密集奖励塑形方案，对进入脆弱状态与摧毁要塞提供奖励加成，以减轻情境识别难度。
• 在 PPO 中使用循环（GRU）与前馈神经网络架构，评估记忆对情境识别的影响。
• 通过将训练于 250ms 射击间隔的策略重新初始化至其他间隔（125、400、600ms）进行迁移学习实验，以评估时间泛化能力。
• 收集人类表现基准，建立与 RL 代理对比的人类水平基线。

实验结果

研究问题

• RQ1 在存在情境依赖策略切换与时间约束的情况下，SOTA 深度强化学习算法能否在稀疏奖励下学会玩 Space Fortress？
• RQ2 通过突出情境转换的奖励塑形在多大程度上能提升 Space Fortress 中的学习性能？
• RQ3 SOTA RL 代理在该基准上失败的主要原因是否为情境不敏感，而非稀疏奖励结构？
• RQ4 RL 代理是否发展出将时间视为独立变量的概念，表现为在不同关键时间间隔间迁移学习的表现？
• RQ5 深度 RL 代理在该情境与时间敏感任务上的表现与人类表现相比如何？

主要发现

• 包括 PPO、A2C 和 Rainbow 在内的 SOTA 强化学习算法在默认稀疏奖励设置下无法学会玩 Space Fortress，最终得分接近零。
• 在引入突出情境转换（如脆弱状态奖励）的奖励塑形后，采用 GRU 架构的 PPO 代理最终得分超过人类表现，表明情境不敏感是主要失败模式。
• 与前馈版本相比，采用 GRU 架构的 PPO 代理学习速度更快且最终得分更高，表明记忆有助于情境识别。
• 从 250ms 间隔迁移至其他间隔（125、400、600ms）的迁移学习实验显示部分正向迁移，但性能迅速饱和且无法达到原始 250ms 策略水平，表明时间理解能力较弱。
• 人类基准显示，专家玩家稳定获得 100–120 分的得分，而塑形奖励后的 PPO 代理表现更优，证实当前 RL 算法在无干预情况下无法达到人类水平表现。
• 本研究证实 Space Fortress 是评估强化学习中情境与时间敏感性的有效且具有挑战性的基准，其参数可调节以隔离这些维度。