[論文レビュー] Decentralized Control of Quadrotor Swarms with End-to-end Deep Reinforcement Learning

Sumeet Batra, Zhehui Huang+4 more|arXiv (Cornell University)|Sep 16, 2021

Reinforcement Learning in Robotics参考文献 25被引用数 9

ひとこと要約

本論文では、シミュレーションから実世界のハードウェアへのゼロショット転送を実現する分散型でエンド・ツー・エンドの深層強化学習（DRL）アプローチを提示する。物理的要因を豊富に含むシミュレータで訓練されたニューラルポリシーは、128ドローンまでのドローン群において衝突回避、高速飛行、フォーメーション制御、追跡回避を可能にし、リソース制約のあるCrazyflie 2.0ドローンにのみ10^3パラメータで成功裏に実装された。

ABSTRACT

We demonstrate the possibility of learning drone swarm controllers that are zero-shot transferable to real quadrotors via large-scale multi-agent end-to-end reinforcement learning. We train policies parameterized by neural networks that are capable of controlling individual drones in a swarm in a fully decentralized manner. Our policies, trained in simulated environments with realistic quadrotor physics, demonstrate advanced flocking behaviors, perform aggressive maneuvers in tight formations while avoiding collisions with each other, break and re-establish formations to avoid collisions with moving obstacles, and efficiently coordinate in pursuit-evasion tasks. We analyze, in simulation, how different model architectures and parameters of the training regime influence the final performance of neural swarms. We demonstrate the successful deployment of the model learned in simulation to highly resource-constrained physical quadrotors performing station keeping and goal swapping behaviors. Code and video demonstrations are available on the project website at https://sites.google.com/view/swarm-rl.

研究の動機と目的

• 局所的観測のみに依存する分散型でエンド・ツー・エンドの深層強化学習コントローラーを、ドローン群制御のために開発すること。
• 高精細なシミュレーションで訓練されたポリシーを、リソース制約のある物理的ドローンにゼロショットで転送できることを実現すること。
• キネマティック・ダイナミクス計画や集中型調整を一切用いずに、攻撃的フォーメーション飛行、動的障害物回避、追跡回避といった高パフォーマンスな群行動を達成すること。
• さまざまな群のサイズ（最大128ドローン）および物理的構成において、スケーラビリティとロバストネスを示すこと。
• 再訓練やPIDチューニングなしに、モデルに依存しないポリシーが多様な四重ローター機体を制御できることを検証すること。

提案手法

• ドローンのリアルな力学的挙動と物理法則を再現したシミュレータ環境で、マルチエージェントDRLを用いてポリシーを訓練する。
• 各ドローンは自己および周囲の状態エンコーダーを用い、体感的および外部的観測（相対位置、速度など）を潜在的埋め込みに変換する。
• ポリシー・ネットワークはこれらの埋め込みを直接推力指令にマッピングし、手動で設計されたコントローラーを一切不要にするエンド・ツー・エンド制御を実現する。
• 順列およびスケールに依存しないモデルアーキテクチャにより、異なる群のサイズや構成において一般化を実現する。
• 衝突回避、ゴール到達、フォーメーション維持を重視した報酬関数を用いて訓練を行う。
• オンボードマイコンによる計算を500 Hzで実行するCrazyflie 2.0ドローンに、わずか約10^3パラメータでポリシーを実装する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのDRLは、シミュレーションから実世界のハードウェアへのゼロショット転送が可能な分散型でスケーラブルかつ衝突のない群制御ポリシーを生成できるか？
• RQ2 異なるニューラルネットワークアーキテクチャや学習ハイパーパramータが、学習された群制御ポリシーのパフォーマンスとロバストネスに与える影響はいかほどか？
• RQ3 学習されたポリシーは、高次元かつリアルタイムな環境において、攻撃的なマニューバー、動的障害物回避、追跡回避をどの程度効果的に処理できるか？
• RQ4 同じポリシー・アーキテクチャが、再訓練なしにさまざまな群のサイズや物理的四重ローターのパrameterに一般化できるか？
• RQ5 軌道効率、俊敏性、3次元空間の活用度という観点から、学習されたDRLコントローラーは古典的手法と比較してどの程度優れているか？

主な発見

• DRLで訓練されたポリシーは、わずか約10^3パラメータで、物理的Crazyflie 2.0ドローン上でステーショナリーモード、ゴール入れ替え、追跡回避のすべてのタスクを正常に実行した。
• 最大7 m/sの速度と1.7 gの加速度を達成する攻撃的飛行を実現し、古典的手法を著しく上回った。
• DRLコントローラーが生成した軌道は3次元空間を効果的に活用したが、古典的手法は主に2次元平面に閉じ込められていた。
• DRLコントローラーはゴール到達が速く、保守的な衝突制約により、古典的手法はより長く非効率な軌道を生成した。
• ダウンウォッシュや非破壊的衝突といった空気力学的擾乱に対しても、ドローンは空中接触後、回復し再安定化するというロバストネスを示した。
• 追加の訓練を経て、同じポリシー・アーキテクチャは128ドローンまでの群を制御可能となり、エージェント1つあたりの計算負荷に顕著な増加は見られなかった。