[论文解读] Temporal Pulses Driven Spiking Neural Network for Fast Object Recognition in Autonomous Driving

Wei Wang, Shibo Zhou+4 more|arXiv (Cornell University)|Jan 24, 2020

Advanced Memory and Neural Computing参考文献 21被引用 11

一句话总结

本文提出一种脉冲神经网络（SNN），可直接处理原始LiDAR时间脉冲，实现在自动驾驶中的快速、低延迟目标识别。通过利用事件驱动、稀疏脉冲计算和时间编码，该模型在KITTI数据集上实现了96.62%的准确率，平均推理时间仅2.02ms，功耗为29.83 nJ，相较于传统DNN展现出更优的速度与能效表现。

ABSTRACT

Accurate real-time object recognition from sensory data has long been a crucial and challenging task for autonomous driving. Even though deep neural networks (DNNs) have been successfully applied in this area, most existing methods still heavily rely on the pre-processing of the pulse signals derived from LiDAR sensors, and therefore introduce additional computational overhead and considerable latency. In this paper, we propose an approach to address the object recognition problem directly with raw temporal pulses utilizing the spiking neural network (SNN). Being evaluated on various datasets (including Sim LiDAR, KITTI and DVS-barrel) derived from LiDAR and dynamic vision sensor (DVS), our proposed method has shown comparable performance as the state-of-the-art methods, while achieving remarkable time efficiency. It highlights the SNN's great potentials in autonomous driving and related applications. To the best of our knowledge, this is the first attempt to use SNN to directly perform object recognition on raw temporal pulses.

研究动机与目标

• 解决基于帧的深度学习方法在自动驾驶目标识别中存在高延迟与计算开销过大的问题。
• 利用LiDAR传感器的原始时间脉冲数据，实现实时、低功耗的目标识别。
• 探索脉冲神经网络（SNN）在直接处理异步、事件驱动感官数据方面的可行性与优势。
• 开发一种新型SNN架构，绕过传统3D点云生成与预处理步骤。
• 在真实世界与模拟数据集上评估所提出的SNN，验证其性能与效率。

提出的方法

• 所提出的模型采用前馈SNN，并通过改进的时间编码方式将原始LiDAR时间脉冲编码为脉冲序列。
• 网络采用脉冲卷积神经网络（SCNN）架构，从脉冲输入中提取分层特征。
• 以脉冲到达时间作为主要信息载体，实现无需固定帧的事件驱动处理。
• 模型基于首个输出脉冲做出识别决策，从而降低计算负载与延迟。
• 构建了一个新数据集Sim LiDAR，用于在不同道路与噪声条件下模拟LiDAR反射。
• 通过神经形态电路的硬件映射假设与能量模型，评估了功耗与延迟效率。

实验结果

研究问题

• RQ1 SNN能否在不生成中间3D点云的情况下，直接处理原始LiDAR时间脉冲以实现目标识别？
• RQ2 在真实世界与模拟LiDAR数据上，SNN方法相较于传统DNN在准确率、延迟与能效方面表现如何？
• RQ3 SNN通过仅处理输入脉冲的子集即可做出决策，能在多大程度上降低计算成本？
• RQ4 SNN能否在自动驾驶场景中实现低功耗的实时性能？
• RQ5 时间编码与事件驱动脉冲对识别速度与准确率有何影响？

主要发现

• 所提出的SCNN在KITTI数据集上达到96.62%的准确率，优于标准CNN（88.22%）以及更深的VGG-16与ResNet-50模型。
• 平均推理时间仅为2.02ms，显著快于需要较长帧处理时间的传统DNN。
• 每轮识别平均仅消耗4,512个脉冲，整个输入序列共产生5,900个脉冲，表明计算负载极低。
• 基于0.37 pJ/脉冲的神经形态硬件模型，功耗估算为29.83 nJ，远低于基于GPU的DNN，达到数量级降低。
• 识别时间分布显示，90%的KITTI样本在3ms内完成分类，DVS样本在1.5ms内完成分类。
• SNN模型在极低脉冲处理量下实现高性能，证实决策可在全部输入脉冲到达前即已做出。