[論文レビュー] Fully neuromorphic vision and control for autonomous drone flight

Federico Paredes-Vallés, Jesse J. Hagenaars+4 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本論文は、実際のイベントベースカメラデータでトレーニングされたスパイクニューラルネットワーク（SNN）を用いて自己運動推定を実行し、制御方策学習に進化的アルゴリズムを用いることで、自律ドローン飛行のための完全にニューロモルフィックなビジョン・トゥ・コントロールパイプラインを初めて提示する。このシステムは、インテルのロイヒニューロモルフィックチップ上で200 Hzでリアルタイムに動作し、1回の推論あたりわずか27 µJの消費電力で、実世界の飛行実験において安定したホバリング、着陸、横方向のマニューバを実現した。

ABSTRACT

Biological sensing and processing is asynchronous and sparse, leading to low-latency and energy-efficient perception and action. In robotics, neuromorphic hardware for event-based vision and spiking neural networks promises to exhibit similar characteristics. However, robotic implementations have been limited to basic tasks with low-dimensional sensory inputs and motor actions due to the restricted network size in current embedded neuromorphic processors and the difficulties of training spiking neural networks. Here, we present the first fully neuromorphic vision-to-control pipeline for controlling a freely flying drone. Specifically, we train a spiking neural network that accepts high-dimensional raw event-based camera data and outputs low-level control actions for performing autonomous vision-based flight. The vision part of the network, consisting of five layers and 28.8k neurons, maps incoming raw events to ego-motion estimates and is trained with self-supervised learning on real event data. The control part consists of a single decoding layer and is learned with an evolutionary algorithm in a drone simulator. Robotic experiments show a successful sim-to-real transfer of the fully learned neuromorphic pipeline. The drone can accurately follow different ego-motion setpoints, allowing for hovering, landing, and maneuvering sideways$\unicode{x2014}$even while yawing at the same time. The neuromorphic pipeline runs on board on Intel's Loihi neuromorphic processor with an execution frequency of 200 Hz, spending only 27 $\unicode{x00b5}$J per inference. These results illustrate the potential of neuromorphic sensing and processing for enabling smaller, more intelligent robots.

研究の動機と目的

• リソース制約のある飛行ロボットに、エネルギー効率が高く、遅延が小さいビジョンおよび制御システムを実装する課題に取り組む。
• ニューロモルフィックロボティクスにおける既存の制限、特にネットワークサイズの制限とスパイクニューラルネットワーク（SNN）のトレーニングの難易度を克服する。
• 自律飛行のための、生のイベントベース視覚入力から低レベル制御出力までに至るエンドツーエンドのニューロモルフィック処理を実現する。
• 実際のドローン上で、完全にニューロモルフィックな制御パイプラインのシミュレーションから実世界への転送に成功することを示す。
• 埋め込み型ニューロモルフィックハードウェア上で自律飛行タスクにリアルタイムかつエネルギー効率の良い動作を達成する。

提案手法

• 自己教師学習を用いて、実際のイベントベースカメラデータ上で5層のスパイクニューラルネットワーク（28.8kニューロン）をトレーニングし、自己運動推定を実行する。
• ドローンシミュレータ内で進化的アルゴリズムを用い、SNN出力を低レベル制御行動に変換する単一のデコーディング層をトレーニングする。
• イベントデータをUSB経由でDAVIS240Cカメラからストリーミングし、インテルのロイヒニューロモルフィックプロセッサにビジョンおよび制御パイプラインを実装する。
• PX4自動飛行制御ファームウェアとROS 2を統合し、リアルタイム制御を実現する。通信にはROS1-ROS2ブリッジを使用する。
• イベントをUP Squaredシングルボードコンピュータで処理し、ダウンサンプリングおよびクロップ処理を実行した後、ロイヒに送信してSNN推論を実行する。
• 実世界の飛行実験における位置制御およびフェイルセーフとして、OptiTrackモーションキャプチャシステムを統合する。

実験結果

リサーチクエスチョン

• RQ1 イベントベースビジョンとスパイクニューラルネットワークのみを用いて、完全にニューロモルフィックなビジョン・トゥ・コントロールパイプラインをトレーニングおよびデプロイできるか？
• RQ2 実際のイベントデータ上で自己教師学習を適用することで、ニューロモルフィックSNNがどれほど正確に自己運動推定を実行できるか？
• RQ3 進化的アルゴリズムを用いてシミュレーション内でドローンの制御方策を学習し、それがニューロモルフィックハードウェア上でシミュレーションから実世界への転送に成功するか？
• RQ4 埋め込み型ニューロモルフィックプロセッサ（例：ロイヒ）上で完全にニューロモルフィックな制御パイプラインのリアルタイム性能とエネルギー効率はどの程度か？
• RQ5 ニューロモルフィックパイプラインは、ヨーイングを伴うホバリング、着陸、横方向飛行といった複雑なマニューバに対しても、安定的かつ低遅延な制御を達成できるか？

主な発見

• 完全にニューロモルフィックなビジョン・トゥ・コントロールパイプラインは、実世界の実験において安定した性能を示し、自律ドローン飛行を実現した。
• ドローンは自己運動セットポイントの正確な制御を達成し、ヨーイング中でさえホバリング、着陸、横方向マニューバを実行できた。
• システムはロイヒニューロモルフィックプロセッサ上で200 Hzで動作し、1回の推論あたりわずか27 µJの消費電力で、高いエネルギー効率を示した。
• 制御方策のシミュレーションから実世界への転送に成功し、進化的アルゴリズムに基づくコントローラーが実ハードウェアにうまく一般化した。
• ナフクボード（カポホ・ベイをエミュレート）でのエネルギーベンチマークにより、低消費電力が確認され、合計電力は主に動的および常時消費部の成分が占めた。
• 高次元の生イベント入力にもかかわらず、リアルタイム性能を達成した。これは、埋め込み型プラットフォーム上でエンドツーエンドのニューロモルフィック制御が実現可能であることを示した。