[论文解读] Fully neuromorphic vision and control for autonomous drone flight

Federico Paredes-Vallés, Jesse J. Hagenaars+4 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Memory and Neural Computing被引用 6

一句话总结

本文提出了首个用于自主无人机飞行的全神经形态视觉-控制流水线，采用基于真实事件相机数据训练的脉冲神经网络（SNN）进行自身运动估计，并利用进化算法学习控制策略。该系统在英特尔Loihi神经形态芯片上以200 Hz的实时速度运行，每次推理仅消耗27 µJ，实现了真实飞行实验中稳定的悬停、着陆和侧向机动。

ABSTRACT

Biological sensing and processing is asynchronous and sparse, leading to low-latency and energy-efficient perception and action. In robotics, neuromorphic hardware for event-based vision and spiking neural networks promises to exhibit similar characteristics. However, robotic implementations have been limited to basic tasks with low-dimensional sensory inputs and motor actions due to the restricted network size in current embedded neuromorphic processors and the difficulties of training spiking neural networks. Here, we present the first fully neuromorphic vision-to-control pipeline for controlling a freely flying drone. Specifically, we train a spiking neural network that accepts high-dimensional raw event-based camera data and outputs low-level control actions for performing autonomous vision-based flight. The vision part of the network, consisting of five layers and 28.8k neurons, maps incoming raw events to ego-motion estimates and is trained with self-supervised learning on real event data. The control part consists of a single decoding layer and is learned with an evolutionary algorithm in a drone simulator. Robotic experiments show a successful sim-to-real transfer of the fully learned neuromorphic pipeline. The drone can accurately follow different ego-motion setpoints, allowing for hovering, landing, and maneuvering sideways$\unicode{x2014}$even while yawing at the same time. The neuromorphic pipeline runs on board on Intel's Loihi neuromorphic processor with an execution frequency of 200 Hz, spending only 27 $\unicode{x00b5}$J per inference. These results illustrate the potential of neuromorphic sensing and processing for enabling smaller, more intelligent robots.

研究动机与目标

• 解决在资源受限的飞行机器人上部署能效高、延迟低的视觉与控制系统所面临的挑战。
• 克服现有神经形态机器人技术的局限，包括网络规模受限以及训练脉冲神经网络（SNN）的困难。
• 实现从原始事件视觉输入到低层控制输出的端到端神经形态处理，用于自主飞行。
• 在真实无人机上成功演示全神经形态控制流水线的仿真到现实的迁移。
• 在嵌入式神经形态硬件上实现实时、高能效的自主飞行任务操作。

提出的方法

• 使用自监督学习在真实事件相机数据上训练一个包含五层、28.8k个神经元的脉冲神经网络，用于估计自身运动。
• 在无人机仿真环境中使用进化算法训练一个解码层，将SNN输出映射为低层控制动作。
• 在英特尔Loihi神经形态处理器上实现视觉与控制流水线，事件数据通过USB从DAVIS240C相机流式传输。
• 将神经形态流水线与PX4自动驾驶仪固件及ROS 2集成，实现实时控制，使用ROS1-ROS2桥接进行通信。
• 在UP Squared单板计算机上处理事件数据，下采样并裁剪后发送至Loihi进行SNN推理。
• 使用OptiTrack运动捕捉系统进行位置控制，并在真实飞行测试中作为故障保护机制。

实验结果

研究问题

• RQ1 能否仅使用事件视觉和脉冲神经网络训练并部署一个全神经形态的视觉-控制流水线，实现自主无人机飞行？
• RQ2 在真实事件数据上使用自监督学习，能在多大程度上实现神经形态SNN中准确的自身运动估计？
• RQ3 进化算法能否在仿真环境中有效学习无人机的控制策略，并成功实现仿真到真实硬件的迁移？
• RQ4 在嵌入式神经形态处理器（如Loihi）上，全神经形态控制流水线的实时性能和能效表现如何？
• RQ5 该神经形态流水线能否在飞行中实现稳定、低延迟的控制，完成如悬停、着陆和侧向飞行等复杂机动，即使在偏航过程中也保持稳定？

主要发现

• 全神经形态视觉-控制流水线在真实飞行实验中成功实现了稳定性能的自主无人机飞行。
• 无人机实现了对自身运动设定点的精确控制，即使在偏航过程中也能实现悬停、着陆和侧向机动。
• 系统在Loihi神经形态处理器上以200 Hz运行，每次推理仅消耗27 µJ，展现出极高的能效。
• 控制策略的仿真到现实迁移成功，基于进化算法的控制器在真实硬件上表现出良好的泛化能力。
• 在Nahuku开发板（模拟Kapoho Bay）上的能效基准测试证实了低功耗特性，总功耗主要由动态功耗和运行功耗主导。
• 尽管输入为高维原始事件数据，该流水线仍实现了实时性能，证明了在嵌入式平台上实现端到端神经形态控制的可行性。