[论文解读] A survey of benchmarking frameworks for reinforcement learning

Belinda Stapelberg, Katherine M. Malan|arXiv (Cornell University)|Nov 27, 2020

Reinforcement Learning in Robotics参考文献 87被引用 5

一句话总结

本文综述了主要的强化学习（RL）基准测试框架——包括 OpenAI Gym、雅典娜学习环境（ALE）、rllab、TextWorld 和 RoboCup Keepaway——以评估并标准化强化学习算法的开发。它分析了这些框架在技术实现、任务多样性以及可复现研究支持方面的表现，突出展示了这些框架如何帮助解决探索-利用权衡和部分可观察性等核心强化学习挑战。

ABSTRACT

Reinforcement learning has recently experienced increased prominence in the machine learning community. There are many approaches to solving reinforcement learning problems with new techniques developed constantly. When solving problems using reinforcement learning, there are various difficult challenges to overcome. To ensure progress in the field, benchmarks are important for testing new algorithms and comparing with other approaches. The reproducibility of results for fair comparison is therefore vital in ensuring that improvements are accurately judged. This paper provides an overview of different contributions to reinforcement learning benchmarking and discusses how they can assist researchers to address the challenges facing reinforcement learning. The contributions discussed are the most used and recent in the literature. The paper discusses the contributions in terms of implementation, tasks and provided algorithm implementations with benchmarks. The survey aims to bring attention to the wide range of reinforcement learning benchmarking tasks available and to encourage research to take place in a standardised manner. Additionally, this survey acts as an overview for researchers not familiar with the different tasks that can be used to develop and test new reinforcement learning algorithms.

研究动机与目标

• 为强化学习领域中最广泛使用且最新的基准测试框架提供全面概述。
• 分析这些框架如何支持强化学习算法的可复现性和公平比较。
• 研究基准任务如何应对强化学习中的基本挑战，例如探索-利用权衡、部分可观察性以及延迟奖励。
• 为新老研究人员在算法开发与评估中选择合适的基准提供指导。
• 推动标准化、透明且可访问的基准测试实践，以加速强化学习研究的发展。

提出的方法

• 系统性地调研关键的强化学习基准测试框架：OpenAI Gym、ALE、rllab、TextWorld 和 RoboCup Keepaway。
• 根据实现类型（例如，开源、基于仿真）、任务类型（例如，控制、导航、游戏）以及支持的算法实现方式对框架进行分类。
• 分析技术特性，如环境接口、状态空间与动作空间的定义，以及奖励塑造机制。
• 评估基准测试实践，包括任务终止标准、超参数调优协议和性能报告标准。
• 研究框架如何通过内置基线、教程以及对新环境的可扩展性来支持算法开发。
• 讨论基准测试的发展趋势，包括问题复杂度的提升以及向完全开源实现的转变。

实验结果

研究问题

• RQ1 在近期的强化学习研究中，哪些基准测试框架被最广泛采用，其独特的技术与功能特征是什么？
• RQ2 这些框架在不同研究团队之间如何促进强化学习算法的可复现性和公平比较？
• RQ3 基准任务在多大程度上帮助解决了强化学习中的核心挑战，如探索、部分可观察性以及延迟奖励？
• RQ4 标准化评估协议（如一致的超参数调优和训练时间）在确保可靠基准比较中起到什么作用？
• RQ5 近年来基准测试的趋势，如引入复杂、部分可观察或基于自然语言的环境，如何推动了强化学习领域的发展？

主要发现

• OpenAI Gym、ALE、rllab、TextWorld 和 RoboCup Keepaway 是最具影响力且被广泛使用的强化学习基准测试框架，各自服务于不同的问题领域。
• 标准化评估协议（如使用游戏结束信号作为任务终止条件，以及一致的超参数调优）显著提升了算法比较的可复现性和公平性。
• 深度学习技术的整合，例如 ALE 中的卷积神经网络和 TextWorld 中的基于 Transformer 的模型，使得更复杂且更真实的基准任务成为可能。
• 许多框架现在支持可扩展性，允许研究人员导入新的机器人、环境和任务，从而增强了其在真实强化学习应用中的实用性。
• 向完全开源实现的转变提高了可访问性和透明度，促进了更广泛的社区参与和可复现的研究。
• 基准测试框架已发展为包含日益复杂的挑战，例如 ALE 中的粘滞动作机制和 rllab 中的部分可观察变体，反映出强化学习问题复杂度的不断提升。