[论文解读] Catalyst.RL: A Distributed Framework for Reproducible RL Research

Sergey Kolesnikov, Oleksii Hrinchuk|arXiv (Cornell University)|Feb 28, 2019

Reinforcement Learning in Robotics参考文献 24被引用 5

一句话总结

Catalyst.RL 是一个开源的、分布式的 PyTorch 框架，用于可复现的深度强化学习研究，强调超参数可配置性、异步训练以及对离策略算法的支持。该框架使作者在 NeurIPS 2018 年 AI for Prosthetics 挑战赛中获得第三名，通过在慢速模拟器上训练样本高效的智能体，展示了在基准环境中的优异性能，且仅需极少的超参数调优。

ABSTRACT

Despite the recent progress in deep reinforcement learning field (RL), and, arguably because of it, a large body of work remains to be done in reproducing and carefully comparing different RL algorithms. We present catalyst.RL, an open source framework for RL research with a focus on reproducibility and flexibility. Main features of our library include large-scale asynchronous distributed training, easy-to-use configuration files with the complete list of hyperparameters for the particular experiments, efficient implementations of various RL algorithms and auxiliary tricks, such as frame stacking, n-step returns, value distributions, etc. To vindicate the usefulness of our framework, we evaluate it on a range of benchmarks in a continuous control, as well as on the task of developing a controller to enable a physiologically-based human model with a prosthetic leg to walk and run. The latter task was introduced at NeurIPS 2018 AI for Prosthetics Challenge, where our team took the 3rd place, capitalizing on the ability of catalyst.RL to train high-quality and sample-efficient RL agents.

研究动机与目标

• 解决现有算法中因高方差和对超参数敏感性导致的深度强化学习可复现性危机。
• 提供一个统一、可扩展且可配置的框架，用于对离策略强化学习算法进行公平的、一对一比较。
• 通过共享经验回放缓冲区和高效的通信机制，支持大规模分布式训练，以提升样本效率。
• 通过模块化、可重用的组件和基于 YAML 的配置，实现强化学习算法的快速原型设计与评估。
• 在具有挑战性的基准测试中展示该框架的有效性，包括 NeurIPS 2018 年 AI for Prosthetics 挑战赛。

提出的方法

• 该框架采用包含异步智能体和集中式学习者的分布式训练流水线，支持可扩展的多机训练。
• 使用 YAML 配置文件完全指定超参数，包括神经网络架构、优化器、探索策略和梯度裁剪。
• 实现了多种离策略算法（例如 DDPG、TD3、SAC），并支持高级技术如 n 步回报和分布值函数近似。
• 共享经验回放缓冲区允许多个算法实例同时在相同数据上训练，从而实现在不同架构和超参数设置之间的公平比较。
• 该框架支持连续控制环境（OpenAI Gym、DeepMind Control Suite）以及复杂且运行缓慢的模拟任务，如假肢腿控制。
• 利用 PyTorch 进行模型定义，并集成高效的通信原语以支持分布式训练。

实验结果

研究问题

• RQ1 统一的、分布式的强化学习框架在提升深度强化学习算法的可复现性和公平性方面是否有效？
• RQ2 共享经验回放和基于 YAML 的超参数配置在多大程度上提升了强化学习训练的一致性和效率？
• RQ3 分布值函数和 n 步回报在多样化连续控制环境中在多大程度上提升了性能？
• RQ4 Catalyst.RL 是否能够在极慢的模拟器（如带有假肢腿的生理学模型）中实现样本高效的强化学习？
• RQ5 该框架是否通过并行训练促进了对最优算法-超参数组合的快速识别？

主要发现

• 该框架在 NeurIPS 2018 年 AI for Prosthetics 挑战赛中获得第三名，展示了在每秒约 1 帧的模拟器上具有极高的样本效率。
• 在 BipedalWalkerHardcore-v2 环境中，DDPG 表现优于 TD3 和 SAC，可能归因于其随机策略带来的更高探索方差。
• 在大多数环境中，n 步回报和分布值函数近似显著提升了性能，尽管其优势并非普遍适用，仍需进一步分析。
• 共享经验回放的使用实现了在多个环境之间对不同算法和超参数设置的公平、一对一比较。
• 在六个基准任务中，DDPG、TD3 和 SAC 的学习曲线表明，没有单一算法或配置在所有任务中持续优于其他方法，表明需要针对具体任务进行调优。
• 该框架的分布式设计支持了高效的训练，使用 24 个 CPU 采样器和 1 个 GPU，在假肢控制任务中实现了稳定的学习曲线且方差较低。