[論文レビュー] Autonomous Drone Racing with Deep Reinforcement Learning

Yunlong Song, Mats Steinweg+2 more|Zurich Open Repository and Archive (University of Zurich)|Mar 15, 2021

Robotic Path Planning Algorithms参考文献 29被引用数 17

ひとこと要約

本論文では、相対的ゲート観測と並列化された学習スキームを用いて、動的トラック変更にリアルタイムで適応可能な近似的時間最適な軌道計画を実現する深層強化学習（DRL）ベースの手法を提示する。この手法は、物理的四脚クアッドコプター上で最大60 km/hの飛行速度を達成し、シミュレーションおよび実世界環境の両方で、頑健性とスケーラビリティを示している。

ABSTRACT

In many robotic tasks, such as autonomous drone racing, the goal is to travel through a set of waypoints as fast as possible. A key challenge for this task is planning the time-optimal trajectory, which is typically solved by assuming perfect knowledge of the waypoints to pass in advance. The resulting solution is either highly specialized for a single-track layout, or suboptimal due to simplifying assumptions about the platform dynamics. In this work, a new approach to near-time-optimal trajectory generation for quadrotors is presented. Leveraging deep reinforcement learning and relative gate observations, our approach can compute near-time-optimal trajectories and adapt the trajectory to environment changes. Our method exhibits computational advantages over approaches based on trajectory optimization for non-trivial track configurations. The proposed approach is evaluated on a set of race tracks in simulation and the real world, achieving speeds of up to 60 km/h with a physical quadrotor.

研究の動機と目的

• 時間最適な軌道計画のための学習ベースの手法を開発し、従来の最適化ベースの手法に比べて柔軟性と計算効率に優れることを目的とする。
• 不確実または変化するトラックレイアウト下でも、攻撃的で動的に実行可能な軌道を計画する課題に対処することを目的とする。
• 再トレーニングなしに、オンラインでの再計画と多様でランダムに生成されたレーストラックへの一般化を可能とすることを目的とする。
• 学習された安全マージンと衝突削減により、実世界での展開における安全性と頑健性を向上させることを目的とする。
• DRLポリシーの物理的四脚クアッドコプターへの転送性を、高速飛行条件下での実世界の動的特性とトラッキング誤差を伴って検証することを目的とする。

提案手法

• ポリシーは、ラップタイムを最小化するための3次元的パス進行度プロキシとして形状された独自の密集報酬を用いた深層強化学習で訓練される。
• 状態観測は、ドローンの現在のポーズからの相対的ゲート位置（x, y, z）として符号化され、絶対座標を用いずに空間認識を可能にする。
• 多様なトラック構成、特にランダムに配置されたゲートを含む、高度に並列化されたサンプリングスキームがポリシーの訓練を加速する。
• 衝突リスク低減のため、ゲート通過時の中心からの距離を最小化する安全報酬が導入され、不確実な環境下での頑健性と衝突率の低下が向上する。
• ポリシーは、物理的四脚クアッドコプター上でリアルタイムの軌道追従を実現するため、モデル予測制御（MPC）を介して実装される。
• 多様な複雑さとゲート構成を持つトラックにわたる一般化を可能とする、高容量のニューラルネットワークポリシーを活用する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、ドローンレースにおける四脚クアッドコプターに対して、最先端の軌道最適化手法と同等またはそれに近い性能を達成する近似的時間最適な軌道を生成できるか？
• RQ2 観測する将来のゲート数が、トラックの不確実性下でのラップタイムと衝突率というポリシー性能に与える影響は何か？
• RQ3 DRLポリシーは、再トレーニングなしに、ランダムに生成されたトラックにどの程度一般化可能であり、大規模なトラック変更に対しても適応可能か？
• RQ4 安全報酬を組み込むことで、シミュレーションおよび実世界飛行におけるゲート通過時の衝突耐性と安全マージンが向上するか？
• RQ5 学習されたポリシーは、実世界の動的特性と顕著なトラッキング誤差を伴う物理的四脚クアッドコプターに、成功裏に転送可能か？

主な発見

• DRLポリシーは、AlphaPilotトラックにおいて、時間最適解に非常に近い平均ラップタイム8.14秒を達成した。
• 観測に2つの将来のゲートを用いることで、性能と頑健性のバランスが最良となり、1000のランダムトラックで平均ラップタイムが8.32秒に短縮され、衝突率は2.5％に低下した。
• 安全報酬を導入することで、成功したゲート通過の平均安全マージンは、報酬なしの0.67 mから2.5 m報酬の0.95 mに向上し、衝突率は2.5％から0.8％に低下した。
• ポリシーは、ランダムに生成されたトラックに効果的に一般化され、多様なレイアウトにおいて低衝突率と一貫した性能を維持した。
• 本手法により、物理的四脚クアッドコプター上で最大60 km/hの高速飛行が実現され、顕著なトラッキング誤差が存在するにもかかわらず、ポリシーの転送が成功した。
• 本手法は、動的環境への適応性において、最適化ベースの手法を上回り、オンライン軌道生成のためのスケーラブルで計算的に効率的な代替手段を提供した。