[论文解读] Fiber: A Platform for Efficient Development and Distributed Training for Reinforcement Learning and Population-Based Methods

Jiale Zhi, Rui Wang+2 more|arXiv (Cornell University)|Mar 25, 2020

Evolutionary Algorithms and Applications参考文献 35被引用 5

一句话总结

Fiber 是一种可扩展的、动态分片的分布式计算框架，专为强化学习（RL）和基于种群的方法而设计，支持在各种硬件上高效开发和高性能训练。它在可扩展性和效率方面优于 IPyParallel 和 Spark，在使用 256 个工作者时将训练时间减少了 50% 以上，并且能够从 32 个扩展到 1,024 个工作者而不会失败。

ABSTRACT

Recent advances in machine learning are consistently enabled by increasing amounts of computation. Reinforcement learning (RL) and population-based methods in particular pose unique challenges for efficiency and flexibility to the underlying distributed computing frameworks. These challenges include frequent interaction with simulations, the need for dynamic scaling, and the need for a user interface with low adoption cost and consistency across different backends. In this paper we address these challenges while still retaining development efficiency and flexibility for both research and practical applications by introducing Fiber, a scalable distributed computing framework for RL and population-based methods. Fiber aims to significantly expand the accessibility of large-scale parallel computation to users of otherwise complicated RL and population-based approaches without the need to for specialized computational expertise.

研究动机与目标

• 解决现有针对强化学习和基于种群的方法量身定制的灵活、高效且可扩展的分布式框架的缺乏问题。
• 克服现有框架（如 PyTorch、Ray 和 IPyParallel）在处理异构工作负载和动态扩展方面的局限性。
• 实现从本地多进程计算到大规模分布式训练的无缝迁移，且代码更改极少。
• 在后端（本地、集群、云）之间提供统一、低开销的用户接口，以最大化开发效率。
• 减轻研究人员和实践者在系统工程方面的负担，同时保持高吞吐量和容错能力。

提出的方法

• Fiber 采用主从架构，配备轻量级任务池，以高效调度强化学习和基于种群的计算任务。
• 它与 Kubernetes 等集群管理器集成，用于作业跟踪和资源管理，避免使用单体式控制存储。
• 通过根据工作负载阶段按需分配资源，实现动态扩展，从而对可变计算需求进行细粒度适应。
• 该框架使用统一的 Python API，与标准 multiprocessing 风格一致，允许用户仅通过更改一个导入语句，即可从本地执行无缝切换到分布式执行。
• 它利用共享噪声表和高效通信机制，最大限度减少基于种群的方法（如 ES 和 PPO）中的开销。
• Fiber 避免使用如 Ray 等系统中的重量级抽象（如任务依赖图），从而相比这些系统显著降低了内存和通信开销。

实验结果

研究问题

• RQ1 在不牺牲性能的前提下，分布式框架能否在强化学习和基于种群的方法中对异构工作负载实现跨资源的动态扩展？
• RQ2 与 Ray 和 IPyParallel 等更重的框架相比，Fiber 的轻量化设计在可扩展性和运行时效率方面表现如何？
• RQ3 Fiber 在多大程度上能够实现从单机多进程计算到大规模分布式训练的无缝迁移，且代码更改极少？
• RQ4 在计算密集型强化学习工作负载中，Fiber 在扩展到数千个工作者时是否仍能保持低开销？
• RQ5 与现有系统相比，Fiber 是否能更有效地处理可变长度的模拟滚动（rollout）和阶段依赖的资源需求？

主要发现

• 在 PPO 训练中，Fiber 实现了次线性加速，与多进程基线相比，当工作进程从 8 个扩展到 256 个时，总训练时间减少了 50% 以上。
• 在 256 个工作者的情况下，Fiber 的 PPO 训练时间不到 8 个工作进程多进程基线的一半，证明其在超越单机限制方面具有强大的可扩展性。
• 在 ES 任务中，Fiber 从 32 个扩展到 1,024 个工作者时表现出高效扩展，训练时间持续下降；而 IPyParallel 因通信错误在 1,024 个工作进程时失败。
• 即使在高工作者数量下，Fiber 的性能开销也仅增加 1–3%，表明其运行时成本极低。
• 在所有测试配置中，Fiber 均优于 IPyParallel，显示出在大规模并行工作负载下更优的可扩展性和可靠性。
• 该框架仅通过 1 行代码更改（将 'multiprocessing' 替换为 'fiber'），即可将单机 PPO 实现转换为分布式版本，凸显其开发效率。