[论文解读] Neuromorphic control for optic-flow-based landings of MAVs using the Loihi processor

Julien Dupeyroux, Jesse J. Hagenaars+2 more|arXiv (Cornell University)|Nov 1, 2020

Advanced Memory and Neural Computing参考文献 30被引用 7

一句话总结

本论文展示了首个基于英特尔Loihi芯片的全嵌入式脉冲神经网络（SNN）控制系统的实现，用于微型飞行器（MAV）自主着陆。该系统在仿真环境中进化出的SNN能够根据视差流计算推力指令，在Loihi硬件上实现近乎一致的行为，推力设定值的均方根误差仅为0.005 g，脉冲序列匹配率达99.8%，成功弥合了真实世界机器人应用中的现实差距。

ABSTRACT

Neuromorphic processors like Loihi offer a promising alternative to conventional computing modules for endowing constrained systems like micro air vehicles (MAVs) with robust, efficient and autonomous skills such as take-off and landing, obstacle avoidance, and pursuit. However, a major challenge for using such processors on robotic platforms is the reality gap between simulation and the real world. In this study, we present for the very first time a fully embedded application of the Loihi neuromorphic chip prototype in a flying robot. A spiking neural network (SNN) was evolved to compute the thrust command based on the divergence of the ventral optic flow field to perform autonomous landing. Evolution was performed in a Python-based simulator using the PySNN library. The resulting network architecture consists of only 35 neurons distributed among 3 layers. Quantitative analysis between simulation and Loihi reveals a root-mean-square error of the thrust setpoint as low as 0.005 g, along with a 99.8% matching of the spike sequences in the hidden layer, and 99.7% in the output layer. The proposed approach successfully bridges the reality gap, offering important insights for future neuromorphic applications in robotics. Supplementary material is available at https://mavlab.tudelft.nl/loihi/.

研究动机与目标

• 弥合仿真类脑SNN与飞行机器人真实硬件部署之间的现实差距。
• 利用类脑计算实现自主、低功耗且鲁棒的基于视差流的微型飞行器（MAV）着陆。
• 首次在飞行机器人中实现Loihi类脑处理器的全嵌入式应用，用于实时控制。
• 验证在仿真（PySNN）与Loihi硬件之间迁移时，进化出的SNN是否能保持高度行为保真度。
• 为未来在MAV等资源受限平台上的类脑机器人提供可扩展、低功耗的控制框架。

提出的方法

• 使用进化算法在基于Python的仿真器（PySNN）中优化脉冲神经网络（SNN），以将视差流发散映射为MAV着陆的推力指令。
• SNN架构设计为仅包含三个层级共35个神经元，训练目标是根据腹侧视差流发散生成平滑的推力设定值。
• 将进化出的SNN直接通过其Python API部署到Loihi类脑处理器上，实现事件驱动的实时推理。
• 使用均方根误差（RMSE）和脉冲匹配率指标，定量比较PySNN仿真与Loihi硬件在脉冲序列保真度和推力输出方面的表现。
• 通过OptiTrack系统追踪无人机位置与速度，开展真实世界着陆测试，记录网络输入、输出及脉冲信号以供分析。
• 采用Kolmogorov-Smirnov统计检验验证仿真与硬件之间脉冲分布的正态性与等价性。

实验结果

研究问题

• RQ1 在真实飞行机器人中，于Loihi硬件上部署的仿真环境中进化出的类脑SNN控制器是否能实现近乎一致的行为？
• RQ2 在真实MAV控制任务中，仿真（PySNN）与芯片内（Loihi）的脉冲序列及推力输出之间的保真度程度如何？
• RQ3 仿真与硬件之间的现实差距对SNN控制在自主MAV着陆中的性能影响如何？
• RQ4 Loihi处理器在实时飞行控制中，对紧凑型SNN（35个神经元）的行为一致性保持程度如何？
• RQ5 类脑控制器是否能以极低计算与能耗开销，实现鲁棒且一致的自主着陆，从4米高度完成？

主要发现

• PySNN仿真与Loihi硬件实现生成的推力设定值序列之间的均方根误差（RMSE）仅为0.0050 ± 0.0069 g，表明两者近乎完美等价。
• 隐藏层的脉冲序列匹配率达99.8% ± 0.3%，输出层达99.7% ± 0.7%，变异系数分别低至0.003与0.007，表明高度稳定。
• 在Loihi上，隐藏层平均脉冲填充率为6.0%，输出层为10.6%，PySNN与Loihi的脉冲分布无显著差异（Kolmogorov-Smirnov检验p = 1.00）。
• 真实世界着陆测试（N=20）表现一致，所有着陆均在4.0米高度下平稳完成，耗时6–8秒，输出层平均填充率为13.6% ± 0.9%。
• Loihi上SNN每时间步的平均执行时间为3.78 ± 0.07 µs，展现出极高的计算效率，适用于实时控制。
• 尽管在真实世界中制动推力应用存在轻微延迟（如t=7s vs. t=4s在仿真中），但所有测试运行的整体控制行为仍保持鲁棒且一致。