[論文レビュー] QuadSwarm: A Modular Multi-Quadrotor Simulator for Deep Reinforcement Learning with Direct Thrust Control

Zhehui Huang, Sumeet Batra+8 more|arXiv (Cornell University)|Jun 15, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

QuadSwarm は、シングルおよびマルチ・クアッドロプター・システムにおける深層強化学習（RL）のための高速でモジュラーな、Pythonベースのシミュレータであり、各プロペラの直接制御、Crazyflie 2.x の物理ベースのダイナミクス、およびドメインランダマイゼーションを備え、ゼロショットのシミュレーションから実機への転送を可能にしている。16コアCPU上で8台のクアッドロプターを用いた場合、1秒間に62,000件を超えるシミュレーションサンプルを達成し、複雑なマルチエージェント飛行ポリシーの高速でスケーラブルかつ並列処理可能な学習を可能にしている。

ABSTRACT

Reinforcement learning (RL) has shown promise in creating robust policies for robotics tasks. However, contemporary RL algorithms are data-hungry, often requiring billions of environment transitions to train successful policies. This necessitates the use of fast and highly-parallelizable simulators. In addition to speed, such simulators need to model the physics of the robots and their interaction with the environment to a level acceptable for transferring policies learned in simulation to reality. We present QuadSwarm, a fast, reliable simulator for research in single and multi-robot RL for quadrotors that addresses both issues. QuadSwarm, with fast forward-dynamics propagation decoupled from rendering, is designed to be highly parallelizable such that throughput scales linearly with additional compute. It provides multiple components tailored toward multi-robot RL, including diverse training scenarios, and provides domain randomization to facilitate the development and sim2real transfer of multi-quadrotor control policies. Initial experiments suggest that QuadSwarm achieves over 48,500 simulation samples per second (SPS) on a single quadrotor and over 62,000 SPS on eight quadrotors on a 16-core CPU. The code can be found in https://github.com/Zhehui-Huang/quad-swarm-rl.

研究の動機と目的

• マルチ・クアッドロプター・システムにおける深層RLポリシーを学習するための高速で並列処理可能かつ物理的に正確なシミュレータの必要性に対応すること。
• 現実的な物理モデルとドメインランダマイゼーションを組み込むことで、クアッドロプター制御ポリシーの強靭なシミュレーションから実機への転送を可能にすること。
• マルチエージェント連携のための多様で統一された学習シナリオと相互作用ベースの報酬をサポートすること。
• 深層RLライブラリとの統合を容易にし、研究の反復を加速する完全にPythonベースでモジュラーなシミュレータを提供すること。

提案手法

• Numba最適化済みのPythonコードを用いて、レンダリングと物理シミュレーションを分離し、高速でシングルスレッドのスループットを実現する。
• Crazyflie 2.x プラットフォームの正確なダイナミクスモデリングを実装した、アドホックな物理エンジンを採用し、各プロペラの直接推力制御を実現する。
• 質量、抵抗、推力などの物理的パラメータにドメインランダマイゼーションを適用することで、ポリシーの一般化とシミュレーションから実機への転送性を向上させる。
• ゴール到達、編隊飛行、衝突回避を含む複数の学習シナリオをサポートし、統一された報酬関数を提供する。
• Sample Factory RLライブラリと統合し、同期/非同期PPOアルゴリズムを用いて学習を高速化する。
• クアッドロプターのダイナミクス、衝突検出、報酬形状の再利用可能なコンponentsを備えたモジュラー設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 完全にPythonベースのシミュレータが、マルチ・クアッドロプターRLにおいて物理的正確性を保ちながら高いシミュレーションスループットを達成できるか？
• RQ2 マルチエージェント・クアッドロプター・システムにおいて、各プロペラの直接推力制御がポリシー学習とシミュレーションから実機への転送にどのように寄与するか？
• RQ3 シミュレータ内でのドメインランダマイゼーションが、訓練済みポリシーの一般化性と頑健性をどの程度向上させるか？
• RQ4 多様な学習シナリオと相互作用ベースの報酬を備えたモジュラーなシミュレータが、複雑な環境におけるマルチエージェント連携をどのように改善できるか？
• RQ5 QuadSwarmのパフォーマンスは、クアッドロプターの数と計算リソースの増加に伴いどのようにスケーリングするか？

主な発見

• QuadSwarm は、16コアCPUを用いて1台のクアッドロプターで1秒間に48,500件を超えるシミュレーションサンプル（SPS）を達成し、8台のクアッドロプターでは1秒間に62,000件を超えるSPSを達成している。
• 衝突検出を含んでも高いパフォーマンスを維持しており、効率的な並列処理とスケーラビリティを示している。
• QuadSwarmで訓練されたポリシーは、シングルおよびマルチ・クアッドロプターの両シナリオにおいて、ゼロショットデプロイメントで実機に正常に転送された。
• Sample Factoryとの統合により、ウォールクロック時間での学習が高速化され、複雑なマルチエージェントポリシーのための試行までの時間が短縮された。
• 多様な学習シナリオと相互作用ベースの報酬の導入により、より頑健で一般化性の高い制御ポリシーが得られた。
• QuadSwarm は、gym-pybullet-drones よりも2倍の速度を達成し、マルチエージェントRLおよび各プロペラ制御のサポートにおいて優れた性能を示している。