[论文解读] Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation

Shubham Negi, Deepika Sharma+2 more|arXiv (Cornell University)|Jun 5, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出了一种混合SNN-ANN架构，利用脉冲神经网络（SNN）层从事件相机数据中高效提取时间特征，随后通过模拟神经网络（ANN）层实现易于在标准硬件上训练和部署。该方法在DSEC和MVSEC数据集上实现了最先进性能，平均端点误差降低24.8–31%，推理能耗降低2.1–3.1倍，优于纯SNN模型。

ABSTRACT

In the field of robotics, event-based cameras are emerging as a promising low-power alternative to traditional frame-based cameras for capturing high-speed motion and high dynamic range scenes. This is due to their sparse and asynchronous event outputs. Spiking Neural Networks (SNNs) with their asynchronous event-driven compute, show great potential for extracting the spatio-temporal features from these event streams. In contrast, the standard Analog Neural Networks (ANNs) fail to process event data effectively. However, training SNNs is difficult due to additional trainable parameters (thresholds and leaks), vanishing spikes at deeper layers, and a non-differentiable binary activation function. Furthermore, an additional data structure, membrane potential, responsible for keeping track of temporal information, must be fetched and updated at every timestep in SNNs. To overcome these challenges, we propose a novel SNN-ANN hybrid architecture that combines the strengths of both. Specifically, we leverage the asynchronous compute capabilities of SNN layers to effectively extract the input temporal information. Concurrently, the ANN layers facilitate training and efficient hardware deployment on traditional machine learning hardware such as GPUs. We provide extensive experimental analysis for assigning each layer to be spiking or analog, leading to a network configuration optimized for performance and ease of training. We evaluate our hybrid architecture for optical flow estimation on DSEC-flow and Multi-Vehicle Stereo Event-Camera (MVSEC) datasets. On the DSEC-flow dataset, the hybrid SNN-ANN architecture achieves a 40% reduction in average endpoint error (AEE) with 22% lower energy consumption compared to Full-SNN, and 48% lower AEE compared to Full-ANN, while maintaining comparable energy usage.

研究动机与目标

• 解决由于非可微激活函数、脉冲消失以及阈值和漏电流等额外参数导致的深度SNN训练难题。
• 克服在标准硬件（如GPU、Eyeriss）上部署SNN时因膜电位追踪导致的高数据移动问题。
• 结合SNN的时间建模优势与ANN的训练效率，构建一种在准确率和可部署性方面均优化的混合架构。
• 优化SNN与ANN层的布局与数量，以平衡性能、训练复杂度与推理能耗。
• 实现在非脉冲硬件上高效部署事件相机光学流模型，且不损失准确性。

提出的方法

• 利用初始的SNN层处理稀疏、异步的事件流，借助漏电流积分-发放（LIF）神经元的固有递归特性与膜电位实现时间编码。
• 在SNN层后接多个全连接或卷积的ANN层，以支持可微激活函数的反向传播，并在GPU上实现标准训练。
• 在SNN层中应用代理梯度方法及可学习的阈值/漏电流参数，以稳定训练过程，同时保持时间动态特性。
• 通过消融研究确定最优的SNN层数量与位置，以最小化训练复杂度与推理能耗。
• 将最终的混合架构部署在通用机器学习加速器（如Eyeriss）上，评估其能耗效率与推理性能。
• 使用标准光学流基准测试（DSEC-flow与MVSEC）通过平均端点误差（AEE）与能耗指标评估准确性。

实验结果

研究问题

• RQ1 混合SNN-ANN架构是否能在事件相机光学流估计中优于纯SNN与纯ANN模型？
• RQ2 SNN层的数量与位置如何影响准确率、训练复杂度与推理能耗之间的权衡？
• RQ3 该混合架构是否能在如GPU与Eyeriss等标准机器学习硬件上实现高效可部署性并保持竞争力？
• RQ4 该混合模型中无显式时间输入编码（如体素化）是否能带来优于基于ANN模型的时间特征学习效果？
• RQ5 在AEE与能耗效率方面，该混合架构相较于先前的混合模型及最先进SNN/ANN基线模型表现如何？

主要发现

• 与纯SNN基线相比，所提出的混合架构在DSEC-flow数据集上实现了31%更低的平均端点误差（AEE）与2.1倍更低的推理能耗。
• 在MVSEC数据集上，该混合模型将AEE降低24.8%，推理能耗降低3.1倍，优于纯SNN架构。
• 在MVSEC上，Mini-Hybrid配置的AEE比纯ANN版本低47%，比纯SNN版本低24%。
• 在MVSEC上，该混合架构的AEE比完全脉冲的XLIF-EV-FlowNet低37%，比FireFlowNet-SNN基线低12.5%。
• 该混合模型的能耗效率与纯ANN模型相当（如Pico-Hybrid为21.30 mJ，Pico-ANN为14.20 mJ），但显著优于纯SNN模型（Pico-SNN为61.72 mJ）。
• 消融研究证实，增加SNN层数量会降低性能，表明在此混合架构中仅需少量SNN层即可实现最优时间编码。