[论文解读] A Fully Spiking Hybrid Neural Network for Energy-Efficient Object Detection

Biswadeep Chakraborty, Xueyuan She+1 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Memory and Neural Computing参考文献 67被引用 49

一句话总结

本文提出了一种全脉冲混合神经网络（FSHNN），通过在脉冲卷积架构中整合无监督脉冲时间依赖可塑性（STDP）与反向传播（STBP），实现能效高效的物体检测。FSHNN在MSCOCO数据集上达到42.6%的mAP，优于基于DNN的RetinaNet和脉冲YOLO，在噪声环境和数据有限条件下表现更优，并通过蒙特卡洛Dropout不确定性估计方法展现出更低的不确定性与更强的泛化能力。

ABSTRACT

This paper proposes a Fully Spiking Hybrid Neural Network (FSHNN) for energy-efficient and robust object detection in resource-constrained platforms. The network architecture is based on Convolutional SNN using leaky-integrate-fire neuron models. The model combines unsupervised Spike Time-Dependent Plasticity (STDP) learning with back-propagation (STBP) learning methods and also uses Monte Carlo Dropout to get an estimate of the uncertainty error. FSHNN provides better accuracy compared to DNN based object detectors while being 150X energy-efficient. It also outperforms these object detectors, when subjected to noisy input data and less labeled training data with a lower uncertainty error.

研究动机与目标

• 开发一种用于物体检测的全脉冲神经网络，实现在无人机和边缘机器人等资源受限平台上的能效推理。
• 通过整合无监督STDP学习与有监督反向传播，提升在低数据量和噪声输入场景下的鲁棒性与泛化能力。
• 利用蒙特卡洛Dropout量化脉冲物体检测器的不确定性，从而更好地区分真实正例与假正例。
• 证明SNN中的混合学习可实现与DNN相当或更优的性能，同时显著提升能效。

提出的方法

• FSHNN采用基于RetinaNet的主干网络，其脉冲卷积层通过在低级特征上进行无监督STDP学习进行预训练。
• 采用混合训练策略，结合STDP进行初始特征学习与反向传播进行端到端微调，同时保持脉冲动力学特性。
• 网络采用DNN到SNN的转换方法，并通过阈值平衡将最终的DNN转换为全脉冲网络，同时保持STDP训练层冻结。
• 将蒙特卡洛Dropout适配用于FSHNN的预测不确定性估计，实现不确定性感知推理。
• 采用基于发放率的编码方式表示输入，其中模拟激活通过300个时间步内的脉冲发放率近似。
• 能效通过FLOPS及硬件特定的MAC/AC能量成本进行估算，SNN能耗按时间步数（T=300）进行缩放。

实验结果

研究问题

• RQ1 结合STDP与反向传播的混合脉冲网络能否在准确率上超越标准DNN-based物体检测器？
• RQ2 整合STDP学习是否能提升在噪声输入或标注数据有限条件下的泛化能力与鲁棒性？
• RQ3 蒙特卡洛Dropout的不确定性估计能否有效应用于脉冲物体检测器以提升可靠性？
• RQ4 全脉冲架构在物体检测中相比DNN能将能耗降低多少？

主要发现

• FSHNN在MSCOCO数据集上达到42.6%的平均精度均值（mAP），超过标准RetinaNet的38.8% mAP。
• 在六层STDP网络下，FSHNN优于脉冲YOLO（mAP仅26.24%），尽管后者架构更高效。
• 在噪声输入条件下，FSHNN的不确定性较RetinaNet降低20-30%，该结果通过蒙特卡洛Dropout测量得出。
• FSHNN模型在有限标注数据下表现出更优的泛化能力，而标准DNN则表现下降。
• 能效分析显示，基于AC操作与减少的时间步数（T=300），FSHNN在理论能效（EE）上相比DNN提升147.54倍。
• 消融实验证实，STDP与反向传播的结合（FSHNN）在COCO-source-test上取得最高mAP（0.426）与AR@100（56.2），优于仅使用STDP或仅使用反向传播的模型。