[論文レビュー] Deep Drone Racing: Learning Agile Flight in Dynamic Environments

Elia Kaufmann, Antonio Loquercio+4 more|arXiv (Cornell University)|Jun 22, 2018

Robotic Path Planning Algorithms参考文献 30被引用数 30

ひとこと要約

本論文では、畳み込みニューラルネットワーク（CNN）を用いて、生の画像からウェイポイントと速度を予測し、それを最小ジャージャー軌道プランナーや搭載コントローラーによって実行する、ハイブリッドなビジョンベースのシステムを提案する。この手法により、明示的な地図がなくても、動的環境において完全に自律的かつ機敏なドローンレースが可能となり、高速走行、遮蔽、移動するゲートの状況下でも、最先端のシステムや人間パイロットを凌駕する耐性と精度を発揮する。

ABSTRACT

Autonomous agile flight brings up fundamental challenges in robotics, such as coping with unreliable state estimation, reacting optimally to dynamically changing environments, and coupling perception and action in real time under severe resource constraints. In this paper, we consider these challenges in the context of autonomous, vision-based drone racing in dynamic environments. Our approach combines a convolutional neural network (CNN) with a state-of-the-art path-planning and control system. The CNN directly maps raw images into a robust representation in the form of a waypoint and desired speed. This information is then used by the planner to generate a short, minimum-jerk trajectory segment and corresponding motor commands to reach the desired goal. We demonstrate our method in autonomous agile flight scenarios, in which a vision-based quadrotor traverses drone-racing tracks with possibly moving gates. Our method does not require any explicit map of the environment and runs fully onboard. We extensively test the precision and robustness of the approach in simulation and in the physical world. We also evaluate our method against state-of-the-art navigation approaches and professional human drone pilots.

研究の動機と目的

• 運動ブラーとドリフトのため、従来のSLAMや状態推定が失敗する動的環境における、自律的で高速なドローン飛行の課題に対処する。
• ポーズベースのナビゲーションに代わって、CNNによる直接的な認識から行動へのマッピングにより、グローバルな状態推定の限界を克服する。
• 地上計算のみを用いて、複雑でごみだらけで変化しやすい環境――移動するゲートを備えたドローンレーストラックなど――における、強固でリアルタイムのナビゲーションを実現する。
• 事前に作成された地図や高価なセンサに依存せず、認識と制御を統合した軽量で完全に搭載型のシステムを開発する。
• 学習ベースの認識が、遮蔽や動的状況下でも、従来のビジュアルオドメトリとエンジニアリング制御パイプラインを上回り、中間レベルの人間パイロットをも凌駆する信頼性を示すことを実証する。

提案手法

• 生のRGB画像を直接、ドローンのボディフレームにおける希望のウェイポイントと速度にマップする、コンactな畳み込みニューラルネットワーク（CNN）を学習する。
• 予測されたウェイポイントと速度を、最先端の軌道生成システムの局所的ゴールとして用い、最小ジャージャー軌道と対応するモータ命令を計算する。
• 安定で機敏な飛行を保証するため、生成された軌道セグメントを追跡するリアルタイム制御スタックとCNNを統合する。
• エンドツーエンドで学習させ、グローバルな基準軌道に従うようにすることで、模倣学習により複雑な経路をナビゲートする能力をドローンに学習させる。
• 外部の局所化や地図インfraに依存しない、完全に搭載型で運用する。
• ボディフレームでのコマンド表現を活用することで、従来のポーズベースシステムが直面する状態推定のドリフトに対して、システムの耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの認識システムは、明示的な環境地図がなくても、動的環境における機敏なビジョンベースのドローンレースを可能にするか？
• RQ2 高速飛行や遮蔽下において、CNNベースの認識モジュールは、従来のビジュアルオドメトリに比べて、耐性と正確性の面で優れているか？
• RQ3 1つのCNNが、再トレーニングなしに、移動するゲートなどの環境の動的変化をどれほど一般化できるか？
• RQ4 エンドツーエンドの認識から制御へのシステムは、実世界のレースシナリオにおいて、最先端の手作業で設計されたナビゲーションパイプラインを上回るか？
• RQ5 複雑で動的であるレーストラックにおいて、自律システムの性能は、人間パイロットのスピード、正確性、故障率の観点から、どのように比較されるか？

主な発見

• 提案されたシステムは、シミュレーションおよび実世界の実験の両方で、移動するゲートを備えたドローンレーストラックを成功裏に走破し、環境の動的変化に対して強い耐性を示した。
• CNNベースのアプローチは、高速走行でドリフトを起こし、信頼性が低いビジュアルオドメトリ（VIO）ベースのベースラインを上回った。
• 特に遮蔽や動的状況下では、最先端のエンジニアリングナビゲーションシステムよりも高い正確性と低い故障率を達成した。
• 人間パイロットが攻撃的なマニューバーをとったにもかかわらず、自律ドローンは中間レベルの人間パイロットよりも速くトラックを走破し、より少ない衝突回数で完了した。
• トレーニングデータには単一のゲートの動きしか含まれていなかったにもかかわらず、推論時に未観測のゲートの動きに対してもネットワークが一般化できており、動的変化に対する強力なゼロショット一般化能力を示した。
• システムは外部の局所化や地図が一切不要な完全に搭載型で動作しており、複雑な環境におけるリアルタイムでコンactかつ強固なビジョンベースナビゲーションの実現可能性を裏付けた。