[論文レビュー] Lyceum: An efficient and scalable ecosystem for robot learning

Colin Summers, Kendall Lowrey+3 more|arXiv (Cornell University)|Jan 21, 2020

Reinforcement Learning in Robotics参考文献 15被引用数 4

ひとこと要約

Lyceum は、Julia と MuJoCo に基づいた、ロボット学習のための高性能な計算エコシステムであり、高レベルの抽象化とゼロコストパフォーマンスを組み合わせることで、Gym や dm-control よりも 5–30倍高速な学習を実現する。効率的なメモリ管理、インプレース演算、ネイティブな並列処理により、強化学習とリアルタイムのモデル予測制御（MPC）を加速する。

ABSTRACT

We introduce Lyceum, a high-performance computational ecosystem for robot learning. Lyceum is built on top of the Julia programming language and the MuJoCo physics simulator, combining the ease-of-use of a high-level programming language with the performance of native C. In addition, Lyceum has a straightforward API to support parallel computation across multiple cores and machines. Overall, depending on the complexity of the environment, Lyceum is 5-30x faster compared to other popular abstractions like OpenAI's Gym and DeepMind's dm-control. This substantially reduces training time for various reinforcement learning algorithms; and is also fast enough to support real-time model predictive control through MuJoCo. The code, tutorials, and demonstration videos can be found at: www.lyceum.ml.

研究の動機と目的

• Gym や dm-control のような遅い Python ベースのフレームワークが引き起こすロボット学習における計算のボトル neck を解消すること。
• 実験のターンアラウンド時間を短縮することで、深層強化学習ポリシーの訓練をより高速に実現すること。
• 既存のフレームワークが性能制限により満たせない厳密な時間制約のもとで、物理シミュレータにおけるリアルタイムのモデル予測制御（MPC）を可能にすること。
• Julia のゼロコスト抽象化を通じて C レベルのパフォーマンスを維持しつつ、高レベルで拡張可能なエコシステムを提供すること。
• 大規模なクラウドコンピューティング予算がなくても利用可能な、先進的なロボット制御アルゴリズムへのアクセスを可能にすること。

提案手法

• Julia のパフォーマンスとメタプログラミングを活用し、MuJoCo をゼロコスト抽象化でラップすることで、C レベルの速度を実現しながらも高レベルの構文を維持する。
• 任意の状態アクセス、インプレース演算、およびオプションの評価指標をサポートする柔軟な AbstractEnvironment インターフェースを導入し、コントローラーベンチマークに適応する。
• MuJoCo.jl を用いて、MuJoCo 2.0 への低レベルでメモリマップされたインターフェースを提供し、直接的なフィールドアクセス（例：d.qpos[:, :arm]）を可能にする。
• LyceumMuJoCo.jl を構築し、Gym や dm-control に類似した高レベルの環境抽象化を提供するが、パフォーマンス最適化された関数呼び出しを実現する。
• LyceumMuJoCoViz.jl を用いて、軌道やコントローラーのインタラクティブな可視化を実現し、耐障害性のリアルタイムテストを可能にする。
• LyceumAI.jl を Flux.jl および Zygote.jl と統合し、ニューラルネットワークの学習と自動微分を可能にすることで、MPPI やネイチャラルポリシー勾配の効率的実装を実現する。

実験結果

リサーチクエスチョン

• RQ1 Julia のような高レベルプログラミング言語が、使いやすさを損なわずにロボットシミュレーションで C レベルのパフォーマンスを達成できるか。
• RQ2 Gym や dm-control といった既存のフレームワークと比較して、新規エコシステムが深層強化学習の訓練時間をどの程度短縮できるか。
• RQ3 厳しい時間制約のもとで、詳細な物理シミュレーションを伴うリアルタイムのモデル予測制御（MPC）をエコシステムがサポートできるか。
• RQ4 インプレース演算やゼロコスト抽象化の使用が、メモリ割り当てやガベージコレクションのオーバーヘッドを最小限に抑えるのにどの程度効果的か。
• RQ5 エコシステムが、MPPI やネイチャラルポリシー勾配のような確率的制御アルゴリズムのスケーラブルで並列化されたロールアウトを可能にするか。

主な発見

• Lyceum は、さまざまな環境において Gym や dm-control よりも 5–30倍高速な性能を達成し、強化学習アルゴリズムの訓練時間を顕著に短縮した。
• エコシステムは MuJoCo を通じてリアルタイムのモデル予測制御をサポートし、フィードバックを伴うクローズドループ制御を可能にした。これは、既存の Python ベースのフレームワークでは実現不可能である。
• インプレース演算（例：事前に確保されたバッファを用いた getstate!）により、不要なメモリ割り当てが排除され、タイトなリアルタイム制御ループに適したシステムとなった。
• 抽象化レイヤーは、標準でない状態コンponents を含むシミュレータの全状態に完全にアクセス可能であり、これはモデルベース制御やモーションプランニングにおいて極めて重要である。
• Julia の並列処理と自動微分の統合により、MPPI やネイチャラルポリシー勾配のための効率的でマルチスレッド対応のロールアウトが実現され、収束が加速した。
• フレームワークは拡張可能であり、Lyceum の明確なインターフェース抽象化により、MuJoCo 以外のシミュレータ（例：RigidBodySim.jl や DART）への対応も可能である。