[論文レビュー] Neuromorphic control for optic-flow-based landings of MAVs using the Loihi processor

Julien Dupeyroux, Jesse J. Hagenaars+2 more|arXiv (Cornell University)|Nov 1, 2020

Advanced Memory and Neural Computing参考文献 30被引用数 7

ひとこと要約

この論文は、IntelのLoihiチップを用いて、自律的MAV着陸のための完全埋め込み型神経形状制御システムを初めて提示する。シミュレーションで進化したスパイクニューラルネットワーク（SNN）が、視覚的流れの発散から推力指令を計算し、Loihiハードウェア上でもほぼ同一の挙動を示した。推力設定値におけるRMS誤差は0.005 gであり、スパイク列の一致率は99.8%に達し、実世界のロボットアプリケーションにおけるリアリティギャップを成功裏に埋め合わせた。

ABSTRACT

Neuromorphic processors like Loihi offer a promising alternative to conventional computing modules for endowing constrained systems like micro air vehicles (MAVs) with robust, efficient and autonomous skills such as take-off and landing, obstacle avoidance, and pursuit. However, a major challenge for using such processors on robotic platforms is the reality gap between simulation and the real world. In this study, we present for the very first time a fully embedded application of the Loihi neuromorphic chip prototype in a flying robot. A spiking neural network (SNN) was evolved to compute the thrust command based on the divergence of the ventral optic flow field to perform autonomous landing. Evolution was performed in a Python-based simulator using the PySNN library. The resulting network architecture consists of only 35 neurons distributed among 3 layers. Quantitative analysis between simulation and Loihi reveals a root-mean-square error of the thrust setpoint as low as 0.005 g, along with a 99.8% matching of the spike sequences in the hidden layer, and 99.7% in the output layer. The proposed approach successfully bridges the reality gap, offering important insights for future neuromorphic applications in robotics. Supplementary material is available at https://mavlab.tudelft.nl/loihi/.

研究の動機と目的

• シミュレーションされた神経形状SNNと実ハードウェア上の実装との間のリアリティギャップを解消すること。
• 神経形状コンピューティングを用いて、エネルギー効率が良く、耐障害性の高い視覚的流れベースの着陸をマイクロエアビークル（MAVs）で実現すること。
• 飛行ロボットにおいて、Loihi神経形状プロセッサの完全埋め込み応用を初めて実証すること。
• 進化したSNNが、シミュレーション（PySNN）からLoihiハードウェアへの移行時にも高い行動的同一性を維持することを検証すること。
• 将来的な神経形状ロボティクスの制限付きプラットフォーム（例：MAVs）に適したスケーラブルで低消費電力の制御フレームワークを提供すること。

提案手法

• 進化的アルゴリズムが、Pythonベースのシミュレータ（PySNN）上で、MAV着陸のための視覚的流れ発散から推力指令へのマッピングを最適化したスパイクニューラルネットワーク（SNN）を進化させた。
• SNNアーキテクチャは3層にわたり、合計35ニューロンで構成され、背側の視覚的流れ発散に基づいて滑らかな推力設定値を生成するように訓練された。
• 進化したSNNは、LoihiプロセッサのPython APIを介して直接デプロイされ、リアルタイムでイベント駆動型推論が可能になった。
• RMS誤差（RMSE）およびスパイク一致度の指標を用いて、PySNNシミュレーションとLoihiハードウェア間のスパイク列の類似性と推力出力を定量的に比較した。
• ドローンの位置および速度を追跡するOptiTrackシステムを用いて、実世界の着陸テストを実施し、ネットワークの入力・出力・スパイクを記録して分析を行った。
• 正規性およびスパイク分布の同等性を検証するために、Kolmogorov-Smirnov検定を用いた統計的検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションで進化した神経形状SNNコントローラが、実際の飛行ロボットのLoihiハードウェア上にデプロイされた場合、ほぼ同一の挙動を示すことができるか？
• RQ2 実世界のMAV制御タスクにおいて、シミュレーション（PySNN）とチップ内（Loihi）のスパイク列および推力出力の類似度はどの程度か？
• RQ3 シミュレーションとハードウェアの間のリアリティギャップが、SNNベースの制御の自律的MAV着陸性能にどのように影響を与えるか？
• RQ4 Loihiプロセッサが、コンパクトなSNN（35ニューロン）の行動的一致性をリアルタイム飛行制御においてどの程度維持できるか？
• RQ5 神経形状コントローラーが、最小限の計算およびエネルギーオーバーヘッドで、強固で一貫性のある自律的着陸を実現できるか？

主な発見

• PySNNシミュレーションとLoihiハードウェア実装の間で、推力設定値シーケンスのRMS誤差（RMSE）はわずか0.0050 ± 0.0069 gであり、ほぼ完全な同一性を示している。
• 隠れ層のスパイク列一致率は99.8% ± 0.3%、出力層は99.7% ± 0.7%であり、変動係数はそれぞれ0.003および0.007と非常に低かった。
• Loihi上での平均スパイクインフィル（欠落補填）は隠れ層で6.0%、出力層で10.6%であった。PySNNとLoihiの分布間に統計的に有意な差は認められず（Kolmogorov-Smirnov検定でp = 1.00）、両者のスパイク分布は同等であった。
• 実世界の着陸テスト（N=20）では一貫した性能を示し、全テストが4.0 mの高度から6〜8秒で滑らかに完了し、出力層の平均インフィルは13.6% ± 0.9%であった。
• Loihi上でのSNNタイムステップ1回あたりの平均実行時間はわずか3.78 ± 0.07 µsであり、リアルタイム制御に適した高い計算効率を示した。
• 実世界のブレーキ推力適用においてわずかな遅延（例：シミュレーションではt=4s、実際はt=7s）が観察されたが、全テスト走行において全体的な制御挙動は強固で一貫していた。