[论文解读] Event-based Video Reconstruction via Potential-assisted Spiking Neural Network

Lin Zhu, Xiao Wang+4 more|arXiv (Cornell University)|Jan 25, 2022

Advanced Memory and Neural Computing被引用 6

一句话总结

该论文提出了EVSNN和PA-EVSNN，这是首个用于事件驱动视频重建的全脉冲神经网络（SNN）框架，利用漏极积分与放电（LIF）和自适应膜电位（AMP）神经元来利用时间信息。这些模型在重建质量上与基于人工神经网络（ANN）的方法相当，同时分别在计算效率上提高了19.36倍和7.75倍，相较于E2VID在能效上分别提升了24.15倍和8.76倍。

ABSTRACT

Neuromorphic vision sensor is a new bio-inspired imaging paradigm that reports asynchronous, continuously per-pixel brightness changes called `events' with high temporal resolution and high dynamic range. So far, the event-based image reconstruction methods are based on artificial neural networks (ANN) or hand-crafted spatiotemporal smoothing techniques. In this paper, we first implement the image reconstruction work via fully spiking neural network (SNN) architecture. As the bio-inspired neural networks, SNNs operating with asynchronous binary spikes distributed over time, can potentially lead to greater computational efficiency on event-driven hardware. We propose a novel Event-based Video reconstruction framework based on a fully Spiking Neural Network (EVSNN), which utilizes Leaky-Integrate-and-Fire (LIF) neuron and Membrane Potential (MP) neuron. We find that the spiking neurons have the potential to store useful temporal information (memory) to complete such time-dependent tasks. Furthermore, to better utilize the temporal information, we propose a hybrid potential-assisted framework (PA-EVSNN) using the membrane potential of spiking neuron. The proposed neuron is referred as Adaptive Membrane Potential (AMP) neuron, which adaptively updates the membrane potential according to the input spikes. The experimental results demonstrate that our models achieve comparable performance to ANN-based models on IJRR, MVSEC, and HQF datasets. The energy consumptions of EVSNN and PA-EVSNN are 19.36$ imes$ and 7.75$ imes$ more computationally efficient than their ANN architectures, respectively.

研究动机与目标

• 开发一种用于事件驱动视频重建的深度脉冲神经网络（SNN）框架，以克服传统人工神经网络（ANNs）在能效方面的局限性。
• 探索脉冲神经元在时间依赖性重建任务中存储和利用时间信息的能力。
• 设计一种结合自适应膜电位（AMP）神经元的混合势能辅助框架，使其能动态适应输入稀疏性并改善时间感受野。
• 证明SNN能够在显著降低计算和能耗成本的同时，实现与ANN及现有最先进模型（如E2VID）相当的重建性能。

提出的方法

• 所提出的EVSNN框架使用漏极积分与放电（LIF）神经元和膜电位（MP）神经元，在脉冲神经网络架构中处理异步事件数据。
• 提出一种新型自适应膜电位（AMP）神经元，其能根据输入脉冲活动自适应地更新膜时间常数，以增强时间建模能力。
• PA-EVSNN框架将AMP神经元集成到混合架构中，结合SNN运算与少量定点（FP）运算在MP层中，以提升性能。
• 模型采用替代梯度反向传播进行训练，使得尽管存在非可微的脉冲阈值，仍能实现深层SNN的端到端训练。
• 通过将ANN中的乘加（MAC）操作与SNN中的脉冲操作进行比较，量化能效，采用功率模型：SNN操作消耗0.9pJ，ANN操作消耗4.6pJ。
• 该框架避免多时间步模拟，通过减少不必要的脉冲活动，降低延迟和能耗。

实验结果

研究问题

• RQ1 全脉冲神经网络（SNN）架构能否有效实现事件驱动视频重建，性能可与人工神经网络（ANN）相媲美？
• RQ2 脉冲神经元是否能内在地存储并利用时间信息，用于时间依赖性回归任务（如图像重建）？
• RQ3 采用自适应膜电位（AMP）神经元的混合势能辅助框架是否能改善SNN的时间感受野和重建精度？
• RQ4 与最先进的人工神经网络模型（如E2VID）相比，SNN-based重建模型在多大程度上能降低能耗？

主要发现

• EVSNN模型在IJRR、MVSEC和HQF数据集上的重建性能与当前最先进（SOTA）的基于ANN的模型相当。
• PA-EVSNN模型通过根据输入脉冲活动自适应调整膜电位，进一步提升了重建质量，增强了时间建模能力。
• EVSNN模型的能耗比其对应的ANN架构低19.36倍，而PA-EVSNN实现了7.75倍的能耗节省。
• 与E2VID相比，EVSNN和PA-EVSNN的计算效率分别提高了24.15倍和8.76倍，这是由于脉冲发放率更低且SNN运算更优化。
• EVSNN的平均脉冲发放率为26.4%，PA-EVSNN为25.1%，表明事件驱动推理中具有高稀疏性与低能耗。
• 尽管使用了批量归一化（可能在空闲状态下略微增加脉冲率），但由于脉冲活动稀疏，模型仍保持了较低的整体能耗。