[论文解读] Biologically Inspired Dynamic Thresholds for Spiking Neural Networks

Jianchuan Ding, Bo Dong+5 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Memory and Neural Computing被引用 22

一句话总结

引入了一种生物启发的动态能量-时间阈值（BDETT）用于脉冲神经网络（SNNs），将动态能量和时间阈值耦合以调控发放，在常态与退化条件下改善机器人障碍规避、连续控制和图像分类的泛化能力与稳态性。

ABSTRACT

The dynamic membrane potential threshold, as one of the essential properties of a biological neuron, is a spontaneous regulation mechanism that maintains neuronal homeostasis, i.e., the constant overall spiking firing rate of a neuron. As such, the neuron firing rate is regulated by a dynamic spiking threshold, which has been extensively studied in biology. Existing work in the machine learning community does not employ bioinspired spiking threshold schemes. This work aims at bridging this gap by introducing a novel bioinspired dynamic energy-temporal threshold (BDETT) scheme for spiking neural networks (SNNs). The proposed BDETT scheme mirrors two bioplausible observations: a dynamic threshold has 1) a positive correlation with the average membrane potential and 2) a negative correlation with the preceding rate of depolarization. We validate the effectiveness of the proposed BDETT on robot obstacle avoidance and continuous control tasks under both normal conditions and various degraded conditions, including noisy observations, weights, and dynamic environments. We find that the BDETT outperforms existing static and heuristic threshold approaches by significant margins in all tested conditions, and we confirm that the proposed bioinspired dynamic threshold scheme offers homeostasis to SNNs in complex real-world tasks.

研究动机与目标

• 动机：解释为何需要对脉冲阈值进行动态的、生物启发的调控，以在SNNs中实现神经元稳态。
• 提出包含动态能量阈值（DET）和动态时序阈值（DTT）的BDETT方案，用以调控发放。
• 展示如何通过逐层统计线索设定DET和DTT参数，以实现鲁棒泛化。
• 在正常与退化条件下对障碍规避、连续控制和图像分类进行BDETT的验证。

提出的方法

• 定义一个神经元级的动态阈值 Theta_i^l(t+1) = 1/2 (E_i^l(t) + T_i^l(t+1)).
• 动态能量阈值（DET）E_i^l(t) 采用生物启发形式，将 v_i^l(t)、层均值 V_m^l(t) 与 V_theta^l(t) 以及层级统计（方程式2-4）结合。
• 动态时序阈值（DTT）T_i^l(t+1) 使用与先前去极化速率相关的单指数样函数，并配有依赖于层阈值的自适应偏移 a（方程式5-6）。
• E_i^l(t) 及 V_m^l(t)、V_theta^l(t) 融入层级均值与范围，以将DET适配至层统计。
• 将BDETT整合进SRM与LIF型SNN，并在障碍规避、连续控制（HalfCheetah-v3、Ant-v3）以及在退化输入与权重不确定性条件下的图像分类任务中进行评估。

实验结果

研究问题

• RQ1 生物启发的动态阈值方案是否能在现实世界的机器人任务中提升SNN的泛化能力？
• RQ2 动态能量阈值和时序阈值（DET与DTT）是否提供稳态性，从而在退化输入、权重噪声和动态环境下提升鲁棒性？
• RQ3 在障碍规避、机器人控制与感知任务中，BDETT 相较于静态阈值和启发式动态阈值的对比如何？

主要发现

• 在所有测试任务和退化条件下，BDETT 超越静态阈值和启发式动态阈值。
• BDETT 为SNN提供可衡量的稳态性，在条件变化时发放率统计量的变化较小。
• 在障碍规避中，BDETT在动态障碍、退化输入和权重不确定性下获得更高的成功率。
• 在连续控制任务中，BDETT在观测退化和权重扰动下获得更高的奖励，保持比基线更好的性能。
• BDETT在低精度权重下仍然有效，在某些任务中甚至优于高精度基线。