[論文レビュー] Fiber: A Platform for Efficient Development and Distributed Training for Reinforcement Learning and Population-Based Methods

Jiale Zhi, Rui Wang+2 more|arXiv (Cornell University)|Mar 25, 2020

Evolutionary Algorithms and Applications参考文献 35被引用数 5

ひとこと要約

Fiberは強化学習（RL）およびパopulation-based手法向けに設計されたスケーラブルで動的シャーディングされた分散コンピューティングフレームワークであり、多様なハードウェア上で効率的な開発とハイパフォーマンストレーニングを可能にしている。IPyParallelやSparkに比べてスケーラビリティと効率性に優れ、PPOで256ワーカーを用いた場合にトレーニング時間を50%以上短縮し、32から1,024ワーカーへのスケーリングにおいても障害を発生させることなく効果的にスケーリングした。

ABSTRACT

Recent advances in machine learning are consistently enabled by increasing amounts of computation. Reinforcement learning (RL) and population-based methods in particular pose unique challenges for efficiency and flexibility to the underlying distributed computing frameworks. These challenges include frequent interaction with simulations, the need for dynamic scaling, and the need for a user interface with low adoption cost and consistency across different backends. In this paper we address these challenges while still retaining development efficiency and flexibility for both research and practical applications by introducing Fiber, a scalable distributed computing framework for RL and population-based methods. Fiber aims to significantly expand the accessibility of large-scale parallel computation to users of otherwise complicated RL and population-based approaches without the need to for specialized computational expertise.

研究の動機と目的

• 強化学習およびパopulation-based手法に特化した柔軟性・効率性・スケーラビリティに優れた分散フレームワークの不足に対処すること。
• PyTorch、Ray、IPyParallelなどの既存フレームワークが、異種ワークロードや動的スケーリングの処理において抱える制限を克服すること。
• 最小限のコード変更でローカルのmultiprocessingから大規模分散トレーニングへのスムーズな移行を可能にすること。
• バックエンド（ローカル、クラスタ、クラウド）を横断して一貫性があり低オーバーヘッドのユーザインタフェースを提供し、開発効率を最大化すること。
• 研究者や実務家が高スループットとフェイルセーフを維持しながら、システム工学的負担を軽減できること。

提案手法

• Fiberは、RLおよびパopulation-based計算タスクの効率的スケジューリングを実現するための軽量タスクプールを備えたマスターワーカーアーキテクチャを採用している。
• ジョブの追跡とリソース管理のため、Kubernetesなどのクラスタマネージャーと統合されており、モノリシックな制御ストアを回避している。
• ワークロードの段階に応じてリソースをオンデマンドで割り当てることで動的スケーリングを実現し、変動する計算ニーズに細かく適応可能である。
• 標準のmultiprocessingと類似した一貫性のあるPython APIを採用しており、ローカル実行から分散実行に切り替える際、1つのインポート変更で可能である。
• ESやPPOのようなパopulation-based手法におけるオーバーヘッドを最小限に抑えるために、共有ノイズテーブルと効率的な通信を活用している。
• タスク依存関係グラフのような重い抽象化を避けることで、Rayなどのシステムと比較してメモリおよび通信コストを低減している。

実験結果

リサーチクエスチョン

• RQ1 Fiberは、強化学習およびパopulation-based手法における異種ワークロードに対して、パフォーマンスを損なわせることなくリソースを動的かつスケーラブルにスケーリングできるか？
• RQ2 Fiberの軽量設計は、Ray や IPyParallel などの重いフレームワークと比較して、スケーラビリティおよびランタイム効率においてどのように異なるか？
• RQ3 Fiberは、最小限のコード変更で単一マシンのmultiprocessingから大規模分散トレーニングへの移行をどの程度スムーズに可能にするか？
• RQ4 Fiberは、特に計算集約的なRLワークロードにおいて、数千ワーカーへのスケーリングを実行しても低オーバーヘッドを維持できるか？
• RQ5 Fiberは、可変長のシミュレーションロールアウトや段階依存のリソース要件を、既存のシステムよりも効果的に処理できるか？

主な発見

• FiberはPPOトレーニングでサブスケーリングスループットを達成し、8ワーカーから256ワーカーにスケーリングした際、トレーニング総時間を50%以上短縮した。
• 256ワーカーを用いた場合、Fiberは8ワーカーのmultiprocessingベースラインと比較して、トレーニング時間を半分未満に短縮した。これは、単一マシンの限界を超えた強力なスケーラビリティを示している。
• ESでは32から1,024ワーカーへのスケーリングにおいてFiberが効率的に動作し、トレーニング時間が継続的に短縮された。一方、IPyParallelは1,024ワーカーで通信エラーにより失敗した。
• 高水準のワーカー数でも、Fiberはmultiprocessingと比較して1〜3%のパフォーマンスオーバーヘッドに抑えられ、ランタイムコストが低いことが示された。
• Fiberは、すべてのテスト構成においてIPyParallelを上回り、大規模並列ワークロード下でのスケーラビリティと信頼性に優れた性能を示した。
• 1行のコード変更（'multiprocessing'を'fiber'に置き換え）で、単一マシンのPPO実装を分散版に変換可能であり、開発効率の高さが顕著に表れた。