[論文レビュー] The Artificial Intelligence behind the winning entry to the 2019 AI Robotic Racing Competition

Christophe De Wagter, Federico Paredes-Vallés+2 more|arXiv (Cornell University)|Sep 30, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用数 6

ひとこと要約

本論文は、2019年AIロボットレーシング（AIRR）サーキットの優勝AIシステムを提示している。このシステムは、人間の走破戦略を模倣したアプローチにより、リアルタイムのゲート検出（深層セグメンテーションネットワーク「GateNet」を用いて）、アクティブビジョンによる最適なカメラ制御、頑健な状態推定、リスクを考慮した制御を組み合わせ、自律ドローンレースで9.2 m/sの速度を達成した。このシステムは、すべての先行する自律エントリーよりも優れており、人間パイロットとの性能差を縮める上で重要な一歩を示した。SWaP制約のもとで実現された。

ABSTRACT

Robotics is the next frontier in the progress of Artificial Intelligence (AI), as the real world in which robots operate represents an enormous, complex, continuous state space with inherent real-time requirements. One extreme challenge in robotics is currently formed by autonomous drone racing. Human drone racers can fly through complex tracks at speeds of up to 190 km/h. Achieving similar speeds with autonomous drones signifies tackling fundamental problems in AI under extreme restrictions in terms of resources. In this article, we present the winning solution of the first AI Robotic Racing (AIRR) Circuit, a competition consisting of four races in which all participating teams used the same drone, to which they had limited access. The core of our approach is inspired by how human pilots combine noisy observations of the race gates with their mental model of the drone's dynamics to achieve fast control. Our approach has a large focus on gate detection with an efficient deep neural segmentation network and active vision. Further, we make contributions to robust state estimation and risk-based control. This allowed us to reach speeds of ~9.2m/s in the last race, unrivaled by previous autonomous drone race competitions. Although our solution was the fastest and most robust, it still lost against one of the best human pilots, Gab707. The presented approach indicates a promising direction to close the gap with human drone pilots, forming an important step in bringing AI to the real world.

研究の動機と目的

• 厳密なサイズ・重量・消費電力（SWaP）制約のもとで、自律的かつリアルタイムに高機能なドローンレースが可能なオンボードAIシステムを開発すること。
• エンドツーエンドのシミュレーションに依存せず、人間が設計した制御および認識モジュールを統合することで、シミュレーションと現実世界のドローン飛行のギャップを最小限に抑えること。
• 最小限の実世界データと限られたハードウェアアクセスのもとで、複雑なレーストラックを高速で安全にナビゲートする、頑健なナビゲーションを実現すること。
• 動的リスク評価やアクティブビジョナルの戦略を模倣することで、エリート人間パイロットとの性能差を縮めること。
• 深層学習と古典的制御・推定技術を組み合わせたハイブリッドAIシステムが、純粋に学習されたまたはシミュレーションベースのアプローチよりも、現実世界のロボット工学において優れた性能を発揮できることを示すこと。

提案手法

• モノクロナルカメラ入力からのレースゲートのセマンティックセグメンテーションをリアルタイムで行うため、深層畳み込みニューラルネットワーク（GateNet）を採用。2,336枚の人がラベルを付与した画像で学習した。
• セグメンテーション画像におけるコーナー検出を用いて、ゲートの可視性とセグメンテーションの信頼性を最大化するように、ドローンのカメラ姿勢を動的に調整するアクティブビジョン戦略を実装。
• オンボードIMUデータと学習済みのダイナミクスモデルを組み合わせたモデルベースの状態推定システムを採用。複数のセンサ推定値のアルファフィュージョンにより、強化された状態推定を実現。
• ゲート検出と軌道追従の予測された不確実性に基づいて、飛行速度を調整するリスクを考慮した制御ポリシーを適用。これにより、高速走行中の衝突リスクが低減された。
• 低レベルのアライメントおよび位置制御は、実機で手動でチューニングおよび検証済みであり、高レベルの軌道計画は、学習済みのゲート検出と予測モデルに依存するハイブリッド制御アーキテクチャを統合。
• 低遅延推論を軽量オンボードハードウェアで実現するため、システム全体を最適化。認識-行動サイクルが10 ms未満に保たれた。

実験結果

リサーチクエスチョン

• RQ1 最小限の実世界データと限られたハードウェアアクセスのもとで、自律ドローンは複雑で動的な環境でどのように高速飛行を実現できるか？
• RQ2 アクティブビジョンやリスクを考慮した制御といった人間の戦略を模倣することで、純粋に学習されたまたはシミュレーションベースのアプローチと比較して、自律ドローンレースのパフォーマンスがどの程度向上するか？
• RQ3 深層学習と古典的制御・推定技術を組み合わせたハイブリッドAIシステムは、ロボット工学におけるリアリティギャップをどのように埋めるか？
• RQ4 ゲート検出に教師あり学習に依存し、制御則を人間が設計したシステムが、高機能かつ安全制約のある現実世界のロボットタスクにおいて、エンドツーエンドの学習システムを上回る性能を発揮できるか？
• RQ5 アクティブビジョンは、動的条件下でのリアルタイムドローンレースにおいて、認識の頑健性を向上させ、不確実性を低減するのにどの程度効果的か？

主な発見

• 最終レースで、システムは9.2 m/sのピークスピードを記録し、当時、どの自律ドローンレース競技会でも記録された最高速度であった。
• GateNetモデルは、照明条件の変化や遮蔽がある状況でも、レースゲートのセグメンテーションに高い精度を示し、高速走行時でも信頼性の高い検出を可能にした。
• アクティブビジョン戦略により、ゲートコーナーの可視性を最大化するようにカメラを調整することで、ゲート検出の信頼性が著しく向上し、誤検出（偽陰性）が減少した。
• リスクを考慮した制御ポリシーにより、ゲート検出と状態推定の不確実性に基づいて速度を動的に調整することで、衝突の可能性が低減され、システム全体の頑健性が向上した。
• 教師あり深層学習による認識と、手作業で設計された制御・推定を組み合わせたハイブリッドアーキテクチャは、競技会の時間的・ハードウェア的制約のもとで、エンドツーエンド学習よりも効果的かつ信頼性が高かった。
• 優れたスピードと頑健性を達成したが、依然として最上位の人間パイロット（Gab707）に敗れた。これは、極端な状況下でのリアルタイム意思決定力と適応性に、まだギャップが存在することを示している。