[論文レビュー] RLlib Flow: Distributed Reinforcement Learning is a Dataflow Problem

Eric Liang, Zhanghao Wu+4 more|arXiv (Cornell University)|Nov 25, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 4

ひとこと要約

本論文では、分散強化学習をデータフロー問題として再定式化することで、ハイレベルで組み合わせ可能かつ高性能な実装を可能にする、ハイブリッド・アクトル・データフロープログラミングモデル「RLlib Flow」を提案する。データフロー抽象化と制御されたアクトルメッセージ送信を組み合わせることで、生産コードを2–9倍削減し、従来は低レベルのシステムコーディングが必須であった複雑なマルチエージェントアルゴリズムの実装を可能にする。

ABSTRACT

Researchers and practitioners in the field of reinforcement learning (RL) frequently leverage parallel computation, which has led to a plethora of new algorithms and systems in the last few years. In this paper, we re-examine the challenges posed by distributed RL and try to view it through the lens of an old idea: distributed dataflow. We show that viewing RL as a dataflow problem leads to highly composable and performant implementations. We propose RLlib Flow, a hybrid actor-dataflow programming model for distributed RL, and validate its practicality by porting the full suite of algorithms in RLlib, a widely adopted distributed RL library. Concretely, RLlib Flow provides 2-9 code savings in real production code and enables the composition of multi-agent algorithms not possible by end users before. The open-source code is available as part of RLlib at https://github.com/ray-project/ray/tree/master/rllib.

研究の動機と目的

• 既存の分散強化学習ライブラリが低レベルのメッセージ送信を要し、組み合わせ性に欠けることによる開発のハードルの高さと拡張性の限界を是正すること。
• 研究者や実務家が、システムの深い知識がなくても、簡単にカスタマイズ・デバッグ・組み合わせ可能な分散強化学習アルゴリズムを実装できるようにすること。
• 生産用強化学習コードにおける複雑さとボイラープレートを軽減しながら、高いパフォーマンスを維持すること。
• 異なるアルゴリズムの入れ違い学習や、複雑なマルチエージェント学習パターンといった、新たなユースケースをサポートすること。
• ハイレベルなデータフロー抽象化が、低レベルのアクトルベース実装と同等またはそれを上回るパフォーマンスを達成できることを示すこと。

提案手法

• 著者らは、明示的なアクトルプロセス参照を組み込んだデータフロー演算子を組み合わせることで、制御されたメッセージ送信を可能にするハイブリッド・アクトル・データフローモデルを設計する。
• データフロー断片とアクトル間の同期を管理するため、シーケンシングおよび並行処理演算子（例：Union、バリアセマンティクス）を導入する。
• Rayを基盤とし、そのアクトルおよび分散タスク実行プリミティブを活用することで、パフォーマンスを保ちながらハイレベルな抽象化を提供する。
• 主なプリミティブには、並列データ処理用のデータフロー演算子と、標的通信に用いるアクトル参照が含まれ、分散実行における細かい制御を可能にする。
• アルゴリズムトポロジーを組み合わせ可能なデータフロー・グラフとして表現することで、同期的および非同期的学習パターンを両方サポートする。
• 本アプローチは、RLlibのすべてのアルゴリズムをRLlib Flowに移植することで検証され、元の低レベル実装と同等のコード削減とパフォーマンスを示した。

実験結果

リサーチクエスチョン

• RQ1 分散強化学習を効果的にデータフロー問題としてモデル化することで、組み合わせ性と開発生産性を向上させられるか？
• RQ2 ハイブリッド・アクトル・データフロー・モデルは、パフォーマンスを損なわせることなく、分散強化学習アルゴリズムの実装の複雑さをどの程度軽減できるか？
• RQ3 このモデルは、従来のハイレベルな強化学習ライブラリでは実現不可能だった、マルチエージェントやメタラーニングワークフローのような新しいアルゴリズムの組み合わせを可能にするか？
• RQ4 実世界の強化学習ワークロードにおいて、ハイレベルなデータフロー抽象化のパフォーマンスは、低レベルのアクトルベース実装と比べてどの程度か？
• RQ5 事前に定義されたテンプレートでは表現できない、複雑なユーザー定義の分散パターン（例：入れ違い学習）をこのモデルはサポートできるか？

主な発見

• RLlib Flow は、RLlibにおける分散実行に必要なコード行数を2–9倍削減し、実装および保守の負担を顕著に低減した。
• 従来は低レベルのシステムコードを書かなければ実装不可能だったマルチエージェント強化学習アルゴリズムの組み合わせが、本モデルによって可能になった。
• パフォーマンスベンチマークでは、RLlib Flow が理論的最適性能に近く、CartPole-v0 におけるPPO学習ではSpark Streaming と同等またはそれを上回るスループットを達成した。
• 元のRLlib実装（低レベルのアクトルおよびRPCプリミティブに基づく）と同等のパフォーマンスを維持しており、ハイレベルな抽象化がパフォーマンスのペナルティを伴わないことを示した。
• ハイブリッドモデルは、データフロー抽象化と標的アクトルメッセージ送信を効果的に統合し、複雑な学習ワークフローにおける組み合わせ性と効率的な同期を両立した。
• RLlib Flow のオープンソース実装は、RLlib ライブラリの一部として公開されており、研究者および実務家コミュニティによる採用と拡張が可能である。