[论文解读] Object Detection based on LIDAR Temporal Pulses using Spiking Neural Networks

Shibo Zhou, Wei Wang|arXiv (Cornell University)|Oct 29, 2018

Advanced Memory and Neural Computing参考文献 23被引用 7

一句话总结

该论文提出了一种脉冲神经网络（SNN）框架，可直接处理原始LIDAR时间脉冲以实现实时目标检测，避免了传统信号预处理。该方法在10%噪声条件下实现了99.83%的准确率，平均识别延迟仅为265纳秒，展示了SNN在利用原生LIDAR信号事件化处理方面，实现超低延迟、高能效自动驾驶系统的潜力。

ABSTRACT

Neural networks has been successfully used in the processing of Lidar data, especially in the scenario of autonomous driving. However, existing methods heavily rely on pre-processing of the pulse signals derived from Lidar sensors and therefore result in high computational overhead and considerable latency. In this paper, we proposed an approach utilizing Spiking Neural Network (SNN) to address the object recognition problem directly with raw temporal pulses. To help with the evaluation and benchmarking, a comprehensive temporal pulses data-set was created to simulate Lidar reflection in different road scenarios. Being tested with regard to recognition accuracy and time efficiency under different noise conditions, our proposed method shows remarkable performance with the inference accuracy up to 99.83% (with 10% noise) and the average recognition delay as low as 265 ns. It highlights the potential of SNN in autonomous driving and some related applications. In particular, to our best knowledge, this is the first attempt to use SNN to directly perform object recognition on raw Lidar temporal pulses.

研究动机与目标

• 解决现有基于LIDAR的目标检测方法中因脉冲信号预处理而带来的高计算开销和延迟问题。
• 探索使用脉冲神经网络（SNN）直接分类LIDAR传感器原始时间脉冲的可行性，无需中间数字转换。
• 构建一个全面且真实的LIDAR时间脉冲数据集，涵盖不同道路状况和噪声水平，用于基准测试。
• 从准确率、推理延迟和抗噪声能力三个方面评估基于SNN的目标检测性能。
• 展示SNN在自动驾驶应用中实现超低延迟、高能效目标识别的潜力。

提出的方法

• 系统采用前馈SNN，包含三层全连接层：256个输入神经元、400个隐藏神经元和30个输出神经元，用于30类目标分类。
• 采用时间编码，LIDAR传感器的脉冲到达时间直接表示深度和目标特征，最大时间延迟限制在1 µs以内。
• 生成了一个自定义数据集，包含3,000个训练样本和600个测试样本，用于模拟不同道路场景和噪声条件下的LIDAR回波。
• 使用随机梯度下降（SGD）进行SNN训练，学习率为0.01，批量大小为60，采用L2正则化，训练最多100个周期。
• 网络以事件驱动、异步方式处理输入脉冲，响应脉冲到达即刻进行推理，实现低延迟性能。
• 性能评估基于识别准确率、平均识别延迟、脉冲计数分布以及在噪声逐渐增加条件下的鲁棒性。

实验结果

研究问题

• RQ1 脉冲神经网络（SNN）能否在无需预处理的情况下，有效实现从原始LIDAR时间脉冲中直接进行目标检测？
• RQ2 在不同噪声条件下，基于SNN的系统处理类似真实世界LIDAR脉冲信号时，其识别准确率和推理延迟如何？
• RQ3 噪声的引入如何影响SNN模型在目标检测任务中的收敛速度和最终准确率？
• RQ4 与传统深度学习处理流水线相比，SNN在计算复杂度和延迟方面能实现多大程度的降低？
• RQ5 SNN模型在保持可接受检测准确率的前提下，能够容忍的最大噪声范围是多少？

主要发现

• 在10%噪声范围（0–0.10）下测试时，SNN系统实现了平均99.83%的推理准确率，表现出极强的鲁棒性。
• 随着噪声增加，准确率逐步下降：0–0.20时为96.16%，0–0.33时为82.66%，0–0.50时为68.16%，表明最大抗噪范围为0–0.50。
• 平均识别延迟在首个脉冲到达后仅为265纳秒，凸显其超低延迟性能。
• 超过80%的识别事件发生在0.23–0.30 µs之间，且绝大多数模式在0.3 µs内完成识别，其中495至517个模式（共600个）落入该时间窗口。
• 系统每类模式最多仅需180个输入脉冲，远低于传统网络为完整表示输入所需的256个脉冲。
• 网络收敛迅速，多数曲线在32个周期后趋于稳定，其中0–0.10噪声范围下的收敛速度最快（14–20个周期）。