[论文解读] Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark

Sharada P. Mohanty, Jyotish Poonganam+21 more|arXiv (Cornell University)|Mar 29, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

本文介绍了 NeurIPS 2020 Procgen 竞赛，这是一个基于 16 个程序化生成环境的集中式基准，用于评估强化学习中的样本效率与泛化能力。通过在数千份提交中标准化端到端的训练与评估流程，该基准识别出在泛化能力和样本效率方面表现最优的方法，其中超参数调优、数据增强以及架构改进（如 MaxBlurPool 和通道注意力）带来了关键性能提升。

ABSTRACT

The NeurIPS 2020 Procgen Competition was designed as a centralized benchmark with clearly defined tasks for measuring Sample Efficiency and Generalization in Reinforcement Learning. Generalization remains one of the most fundamental challenges in deep reinforcement learning, and yet we do not have enough benchmarks to measure the progress of the community on Generalization in Reinforcement Learning. We present the design of a centralized benchmark for Reinforcement Learning which can help measure Sample Efficiency and Generalization in Reinforcement Learning by doing end to end evaluation of the training and rollout phases of thousands of user submitted code bases in a scalable way. We designed the benchmark on top of the already existing Procgen Benchmark by defining clear tasks and standardizing the end to end evaluation setups. The design aims to maximize the flexibility available for researchers who wish to design future iterations of such benchmarks, and yet imposes necessary practical constraints to allow for a system like this to scale. This paper presents the competition setup and the details and analysis of the top solutions identified through this setup in context of 2020 iteration of the competition at NeurIPS.

研究动机与目标

• 建立一个可扩展的集中式基准，用于衡量深度强化学习中的样本效率与泛化能力。
• 隔离并评估智能体在多样化、程序化生成环境中的泛化能力，这些环境中智能体需面对未见过的布局与配置。
• 以标准化、可复现的方式，实现对数千个用户提交的强化学习代码库的端到端评估。
• 识别出在强化学习中提升样本效率与泛化能力的关键方法论实践。
• 为未来基准迭代提供最大灵活性与实际可扩展性的基础。

提出的方法

• 基于开源的 Procgen 基准，该基准使用具有随机关卡布局、资源与难度的程序化生成环境。
• 定义了 4 个保留的测试环境用于最终评估，确保在未见的程序化变化中具备泛化能力。
• 采用平均归一化回报作为主要指标：$ R_{norm} = (R - R_{min}) / (R_{max} - R_{min}) $，确保取值在 0 到 1 之间。
• 在所有提交中标准化训练与评估流程，以确保公平比较与可扩展性。
• 应用架构改进，如用 MaxBlurPool 替代 MaxPool，并在残差块中加入通道注意力模块。
• 评估了数据增强、奖励归一化以及辅助任务等技术对性能与样本效率的影响。

实验结果

研究问题

• RQ1 在程序化生成环境中，哪些方法论实践对强化学习的泛化能力提升最为显著？
• RQ2 超参数调优、数据增强以及网络架构修改如何影响样本效率与性能？
• RQ3 辅助任务或内在奖励在本基准中在多大程度上提升了学习效率与泛化能力？
• RQ4 奖励归一化如何影响策略训练的稳定性与最终性能？
• RQ5 在强化学习智能体中，架构复杂度、参数量与泛化性能之间存在何种权衡？

主要发现

• 超参数调优显著提升了大多数提交的性能，表明调优对高性能表现至关重要。
• 数据增强提升了泛化能力，但需谨慎平衡；在 PPG 中保留部分未增强帧对策略稳定性至关重要。
• 用 MaxBlurPool 替代 MaxPool 并加入通道注意力模块，在减少 75% 参数量的同时提升了性能，表明架构层面具有显著效率优势。
• 奖励归一化对学习稳定性与最终回报具有显著积极影响，尤其在价值网络训练中表现突出。
• 内在奖励与辅助任务（如对比学习或 deepMDP）反而降低了性能，原因在于计算开销增加与训练步数减少。
• 循环网络与噪声网络未提升性能，且常导致训练变慢，而帧堆叠在时间建模方面更为有效。