[論文レビュー] Ray RLLib: A Composable and Scalable Reinforcement Learning Library

Eric Liang, Richard Liaw+6 more|arXiv (Cornell University)|Dec 7, 2017

Reinforcement Learning in Robotics参考文献 51被引用数 109

ひとこと要約

Ray RLLib は、タスクベースのプログラミングモデルに基づく Ray の上に構築された、合成可能でスケーラブルな強化学習ライブラリを提供する。これにより、細粒度の並列処理と RL コンポーネントのモジュラーリユースが可能になる。個々のコンポーネントにリソースと計算要件をカプセル化することで、高度に最適化された基準実装と同等またはそれ以上のパフォーマンスを達成しつつ、最先端のアルゴリズムの幅広い範囲をサポートする。

ABSTRACT

Reinforcement learning (RL) algorithms involve the deep nesting of distinct components, where each component typically exhibits opportunities for distributed computation. Current RL libraries offer parallelism at the level of the entire program, coupling all the components together and making existing implementations difficult to extend, combine, and reuse. We argue for building composable RL components by encapsulating parallelism and resource requirements within individual components, which can be achieved by building on top of a flexible task-based programming model. We demonstrate this principle by building Ray RLLib on top of Ray and show that we can implement a wide range of state-of-the-art algorithms by composing and reusing a handful of standard components. This composability does not come at the cost of performance --- in our experiments, RLLib matches or exceeds the performance of highly optimized reference implementations. Ray RLLib is available as part of Ray at this https URL

研究の動機と目的

• 既存の RL ライブラリの硬直性（コンポーネントの結合）を解消し、拡張性を向上させること。
• 個々の RL コンポーネントにリソースおよび計算要件をカプセル化することで、細粒度で合成可能な並列処理を実現すること。
• 複雑な RL アルゴリズムが、少量の再利用可能でスケーラブルなコンポーネントの組み合わせによって実装可能であることを示すこと。
• 合成可能性や拡張性を損なわずに高いパフォーマンスを達成すること。
• 現代の RL アルゴリズムの実装と実験を柔軟かつ拡張可能に可能にするフレームワークを提供すること。

提案手法

• タスクベースのプログラミングモデルを活用し、動的で細粒度のタスクスケジューリングとリソース管理を可能にする Ray の上に Ray RLLib を構築すること。
• ポリシー、価値関数、リプレイバッファなどの各 RL コンポーネントを、リソースおよび計算要件が明確に定義された隔離されたコンポーネント単位にカプセル化すること。
• Ray の分散実行モデルを活用し、複数のマシンや GPU 間でのコンポーネントの透明な分散を可能にすること。
• モジュラーインターフェースを設計することで、標準的な RL ビルディングブロックを任意に組み合わせられるようにすること。
• Ray のフェイルセーフ機能と自動スケーリングを活用し、動的ワークロードとリソース割り当てに対応すること。
• 低レベルでの再実装なしに、これらの再利用可能なコンポーネントを組み合わせることで標準的な RL アルゴリズムを実装すること。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスとスケーラビリティを維持したまま、RL コンポーネントを合成可能にすることができるか？
• RQ2 個々のコンポーネントに並列処理とリソース管理をカプセル化することで、拡張性と再利用性が向上するか？
• RQ3 幅広い最先端の RL アルゴリズムが、僅か数種類の標準化された合成可能なコンポーネントのみで実装可能か？
• RQ4 Ray RLLib の合成的アーキテクチャは、高度に最適化されたモノリシックな RL 実装と同等またはそれ以上のパフォーマンスを発揮するか？
• RQ5 Ray のタスクベースのプログラミングモデルは、RL コンポーネントの効率的で柔軟な分散をどのように実現するか？

主な発見

• Ray RLLib は、わずか数種類の合成可能で再利用可能なコンポーネントのみで、幅広い最先端の RL アルゴリズムを成功裏に実装した。
• 合成的アーキテクチャにより、パフォーマンスを損なわずにコンポーネントのシームレスな再利用と組み合わせが可能になった。
• ベンチマーク環境において、Ray RLLib は高度に最適化された基準実装と同等またはそれ以上のパフォーマンスを達成した。
• Ray のタスクベースモデルにより、異種のハードウェア環境にまたがる RL コンポーネントの効率的で透明な分散が実現された。
• コンポーネント内にリソースと計算要件をカプセル化することで、モularity が向上し、拡張や実験が簡素化された。
• 本システムは、RL ライブラリ設計において、高いパフォーマンスと合成可能性が互いに排他的ではないことを示した。