[論文レビュー] ElegantRL-Podracer: Scalable and Elastic Library for Cloud-Native Deep Reinforcement Learning

Xiaoyang Liu, Zechu Li+6 more|arXiv (Cornell University)|Dec 11, 2021

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

ElegantRL-Podracer は、トーナメントベースのアンサンブル方式と単一GPU内での大規模並列シミュレーションを活用し、ミリオンレベルのGPUコアにわたるスケーラブルで弾力性のあるトレーニングを実現するクラウドネイティブな深層強化学習（DRL）ライブラリです。RLlib よりも優れたトレーニング効率とパフォーマンスを達成しており、80台のA100 GPUで最大40％の壁時計時間短縮を実現するとともに、ロケーションおよび株式取引タスクでベースラインを上回っています。

ABSTRACT

Deep reinforcement learning (DRL) has revolutionized learning and actuation in applications such as game playing and robotic control. The cost of data collection, i.e., generating transitions from agent-environment interactions, remains a major challenge for wider DRL adoption in complex real-world problems. Following a cloud-native paradigm to train DRL agents on a GPU cloud platform is a promising solution. In this paper, we present a scalable and elastic library ElegantRL-podracer for cloud-native deep reinforcement learning, which efficiently supports millions of GPU cores to carry out massively parallel training at multiple levels. At a high-level, ElegantRL-podracer employs a tournament-based ensemble scheme to orchestrate the training process on hundreds or even thousands of GPUs, scheduling the interactions between a leaderboard and a training pool with hundreds of pods. At a low-level, each pod simulates agent-environment interactions in parallel by fully utilizing nearly 7,000 GPU CUDA cores in a single GPU. Our ElegantRL-podracer library features high scalability, elasticity and accessibility by following the development principles of containerization, microservices and MLOps. Using an NVIDIA DGX SuperPOD cloud, we conduct extensive experiments on various tasks in locomotion and stock trading and show that ElegantRL-podracer substantially outperforms RLlib. Our codes are available on GitHub.

研究の動機と目的

• 複雑な現実世界の環境における深層強化学習（DRL）におけるデータ収集コストの高さに対処すること。
• クラウドネイティブな原則に従い、数百～数千のGPUにわたるスケーラブルで弾力性のあるDRLトレーニングを可能にすること。
• コンテナ化、マイクロサービス、MLOpsを活用して、DRLフレームワークのアクセシビリティとパフォーマンスを向上させること。
• GPU Directと単一GPU内での大規模並列化を活用して、高いトレーニング効率を達成すること。
• 既存のフレームワーク（例：RLlib）と比較して、優れたパフォーマンスとスケーラビリティを実証すること。

提案手法

• 複数のGPUに跨る数百のポッドからなるランクリストとトレーニングプール間でのトレーニングを調整するトーナメントベースのアンサンブル方式を採用する。
• 7,000個以上のGPU CUDAコアをフルに活用することで、単一GPU内での大規模並列シミュレーションを実現する。
• Kubernetes、コンテナ化、マイクロサービス、MLOpsに基づくクラウドネイティブアーキテクチャを実装し、スケーラビリティとアクセシビリティを確保する。
• スケールでのトレーニングを支援するため、NVIDIA DGX SuperPODをクラウドインfraとして採用する。
• 開発とデプロイをスムーズにするために、継続的インテグレーションおよびデリバリー（CI/CD）パイプラインを適用する。
• 株式取引やロケーションなど複雑な環境での効率的な探索を可能にするため、報酬設計と環境シミュレーションを設計する。

実験結果

リサーチクエスチョン

• RQ1 クラウドネイティブなDRLフレームワークは、数千のGPUにわたる高いスケーラビリティと弾力性を達成できるか？
• RQ2 トーナメントベースのアンサンブル方式は、DRLにおけるトレーニング効率と収束性をどのように向上させるか？
• RQ3 単一GPU内での大規模並列化は、DRLにおけるデータ収集をどの程度加速できるか？
• RQ4 ElegantRL-Podracerは、複雑なタスクにおいてRLlibと比較して、トレーニング速度と最終パフォーマンスで優れているか？
• RQ5 大規模かつ高パフォーマンスなDRLトレーニングをサポートしつつ、高いアクセシビリティを維持できるか？

主な発見

• ElegantRL-Podracer は、NASDAQ-100 株式取引で累積リターン 104.743%、シャープレシオ 2.20 を達成し、RLlib の 86.274% と 1.98 を大きく上回りました。
• 80台のA100 GPUを用いた場合、ElegantRL-Podracer は約 2,200 秒で累積リターン 1.8 を達成し、高いスケーラビリティと効率性を示しました。
• GPU数の増加に伴い、トレーニング時間は約 4,000 秒（16 GPU）から約 2,200 秒（80 GPU）に短縮され、強いスループット向上が確認されました。
• 同じハードウェア環境下で、ElegantRL-Podracer は RLlib より最大40％のトレーニング時間を短縮し、クラウド規模トレーニングに向けた優れた最適化を示しました。
• 株式取引タスクにおいて、ElegantRL-Podracer は年間リターン 103.591% を達成し、Invesco QQQ ETF ベンチマークの 46.146% を上回りました。
• 高いボラティリティ（35.357%）とドローダウン（-17.187%）を示したものの、競争力のあるカルマール比 6.02 を維持し、リスク調整後のパフォーマンスが優れていました。