[论文解读] Human-level Atari 200x faster

Steven Kapturowski, Víctor Campos+5 more|arXiv (Cornell University)|Sep 15, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出MEME，一种数据效率更高的强化学习智能体，在仅需Agent57所需环境交互次数1/200的情况下，即4亿帧，便在全部57款Atari游戏中达到人类水平表现——从原先的780亿帧大幅减少至4亿帧。该方法结合了信任区域引导的自举法、归一化的价值函数缩放、基于深度NFNets的网络架构，以及策略蒸馏技术，从而在多样化环境中实现训练稳定与学习加速。

ABSTRACT

The task of building general agents that perform well over a wide range of tasks has been an important goal in reinforcement learning since its inception. The problem has been subject of research of a large body of work, with performance frequently measured by observing scores over the wide range of environments contained in the Atari 57 benchmark. Agent57 was the first agent to surpass the human benchmark on all 57 games, but this came at the cost of poor data-efficiency, requiring nearly 80 billion frames of experience to achieve. Taking Agent57 as a starting point, we employ a diverse set of strategies to achieve a 200-fold reduction of experience needed to out perform the human baseline. We investigate a range of instabilities and bottlenecks we encountered while reducing the data regime, and propose effective solutions to build a more robust and efficient agent. We also demonstrate competitive performance with high-performing methods such as Muesli and MuZero. The four key components to our approach are (1) an approximate trust region method which enables stable bootstrapping from the online network, (2) a normalisation scheme for the loss and priorities which improves robustness when learning a set of value functions with a wide range of scales, (3) an improved architecture employing techniques from NFNets in order to leverage deeper networks without the need for normalization layers, and (4) a policy distillation method which serves to smooth out the instantaneous greedy policy overtime.

研究动机与目标

• 开发一种通用强化学习智能体，在全部57款Atari游戏中达到与Agent57相当的性能，但数据效率显著提升。
• 解决在多策略、基于价值函数的智能体中，当经验预算减少时出现的训练不稳定与瓶颈问题。
• 实现在高回放缓冲比例、在线自举与Agent57家族所有策略联合训练下的稳定训练。
• 在不牺牲在困难环境中表现的前提下，提升样本效率，尤其针对以往智能体失败的场景。
• 在与Muesli和MuZero等先进方法竞争中展现优异性能，同时实现更优的数据效率。

提出的方法

• 采用近似信任区域方法，稳定来自在线Q网络的自举过程，降低训练期间的分布偏移。
• 提出一种价值函数损失与优先级的归一化方案，以应对策略族中多个价值函数之间存在的巨大尺度差异。
• 采用受NFNets启发的改进神经网络架构，支持无需批归一化层的深层网络设计。
• 应用策略蒸馏技术，使贪婪策略随时间平滑化，降低因瞬时动作选择带来的不稳定性。
• 以Watkins的Q(λ)的软性变体替代Retrace目标，实现更快的信号传播与更温和的轨迹截断。
• 使用高回放缓冲比例，并联合训练所有策略的转移数据，提升数据利用效率与样本效率。

实验结果

研究问题

• RQ1 我们能否在仅需Agent57所需1/200环境交互次数的前提下，实现全部57款Atari游戏的人类水平表现？
• RQ2 在多策略、基于价值的智能体中，当数据规模缩减时，会引发何种不稳定性？又该如何缓解？
• RQ3 在并行训练多个价值函数时，如何稳定来自在线网络的自举过程？
• RQ4 当价值函数的尺度跨度极大时，损失与优先级的归一化在多大程度上能提升训练稳定性？
• RQ5 像NFNets这样更深且无需归一化的网络架构，是否能在密集奖励、多环境强化学习设置中提升数据效率？

主要发现

• MEME仅使用4亿帧便在全部57款Atari游戏中达到人类水平表现——相比Agent57的780亿帧，效率提升200倍。
• 该智能体在所有游戏中均超越人类基准，且数据使用量显著减少，尤其在Montezuma’s Revenge和Pitfall!等极具挑战性的环境中表现优异。
• 平均而言，MEME仅用100亿帧便达到所有游戏中人类归一化得分的95%，而Agent57则需780亿帧。
• 该方法在性能上可与Muesli和MuZero相媲美，证明数据效率的提升并未以牺牲最终性能为代价。
• 信任区域更新、价值归一化与策略蒸馏的结合，使智能体在高回放缓冲比例与在线自举条件下仍能实现稳定训练。
• 在Asteroids与Ms. Pac-Man等游戏中，MEME在100亿帧内分别取得超过30万与2.7万的得分，展现出强大的泛化能力与样本效率。