[論文レビュー] EVDodge: Embodied AI For High-Speed Dodging On A Quadrotor Using Event Cameras.

Nitin J. Sanket, Chethan M. Parameshwara+5 more|arXiv (Cornell University)|Jun 7, 2019

Robotics and Sensor-Based Localization参考文献 9被引用数 14

ひとこと要約

本論文は、1台のイベントカメラを用いて、マルチローターにおける高速回避をリアルタイムで実行可能なオンボードディープラーニングシステムEVDodgeを提案する。シミュレーションでは浅いニューラルネットワークを用いて自己移動と動的障害物の運動を推定し、直接的に実世界のシナリオに適用可能であり、多様な障害物および低照度条件下でも70%の成功率を達成した。これは、マルチローターにおけるイベントカメラベースの動的障害物回避のエンドツーエンド学習ベースのソリューションとして初のものである。

ABSTRACT

Dynamic obstacle avoidance on quadrotors requires low latency. A class of sensors that are particularly suitable for such scenarios are event cameras. In this paper, we present a deep learning -- based solution for dodging multiple dynamic obstacles on a quadrotor with a single event camera and on-board computation. Our approach uses a series of shallow neural networks for estimating both the ego-motion and the motion of independently moving objects. The networks are trained in simulation and directly transfer to the real world without any fine-tuning or retraining. We successfully evaluate and demonstrate the proposed approach in many real-world experiments with obstacles of different shapes and sizes, achieving an overall success rate of 70% including objects of unknown shape and a low light testing scenario. To our knowledge, this is the first deep learning -- based solution to the problem of dynamic obstacle avoidance using event cameras on a quadrotor. Finally, we also extend our work to the pursuit task by merely reversing the control policy, proving that our navigation stack can cater to different scenarios.

研究の動機と目的

• 高速状況下でのマルチローターにおけるリアルタイムでオンボードの動的障害物回避を可能にすること。
• イベントカメラを用いた低遅延の認識を、動的環境で達成すること。
• シミュレーションから実世界への適用を前提とした、ファインチューニングを必要としない学習ベースのシステムの開発。
• 多様な障害物の形状・サイズおよび低照度条件下でも高い耐障害性を示すこと。
• ポリシーの逆転により、追跡などの他のナビゲーションタスクへの拡張を図ること。

提案手法

• イベントカメラデータから、自己移動と独立して移動する障害物の運動を推定するため、シミュレーションで浅いニューラルネットワークを訓練する。
• ネットワークは非同期的なイベントストリームを処理し、空間的・時間的特徴を抽出してリアルタイムで運動ベクトルを推定する。
• 多様な障害物のダイナミクスと環境条件を含む合成データを用いて、完全にシミュレーション内で訓練する。
• 訓練されたポリシーは、実世界でのファインチューニングなしにマルチローターに直接デプロイされ、低遅延推論を実現する。
• 制御ポリシーを逆転させることで、追跡タスクを実現し、ナビゲーションスタックの汎用性を示す。
• オンボード計算によりリアルタイム性能が確保され、高速飛行において不可欠である。

実験結果

リサーチクエスチョン

• RQ1 イベントカメラを用いた学習ベースのシステムが、最小限の遅延でマルチローターにおけるリアルタイムの動的障害物回避を達成できるか？
• RQ2 シミュレーションで訓練されたポリシーが、ファインチューニングなしに実世界のシナリオに一般化できるか？
• RQ3 未知の形状の障害物や低照度条件下で、このようなシステムの性能はどの程度か？
• RQ4 同じ認識および制御スタックを、追跡などの異なるナビゲーションタスクに再利用できるか？
• RQ5 1台のイベントカメラのみを用いて、高速回避シナリオでどの程度の成功が達成できるか？

主な発見

• 実世界の高速回避実験において、未知の形状の障害物を含め70%の成功率を達成した。
• ファインチューニングなしにシミュレーションから実世界への転送が効果的であり、強い一般化能力を示した。
• 低照度条件下でも正常に動作し、イベントカメラセンシングの利点を強力に示した。
• ポリシーの逆転により、同じ認識および制御スタックで追跡タスクが可能となり、広範な適用可能性を示した。
• 浅いネットワークの使用により、オンボードでのリアルタイム推論が可能となり、高速飛行における低遅延要件を満たした。
• これは、実世界でのデプロイにおいて、イベントカメラを用いたマルチローターの動的障害物回避の初の学習ベースのソリューションである。