[论文解读] Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck

Nicolas Skatchkovsky, Osvaldo Simeone+1 more|arXiv (Cornell University)|Jun 2, 2021

Advanced Memory and Neural Computing被引用 6

一句话总结

本文提出一种混合变分自编码器，采用脉冲神经网络（SNN）编码器和人工神经网络（ANN）解码器，通过一种新颖的端到端代理梯度方法训练，优化定向信息瓶颈准则。该方法使SNN能够在无需预设解码约束的情况下学习最优的脉冲时间编码，实现了将脉冲输入自然化为图像等自然信号的最先进性能。

ABSTRACT

One of the key challenges in training Spiking Neural Networks (SNNs) is that target outputs typically come in the form of natural signals, such as labels for classification or images for generative models, and need to be encoded into spikes. This is done by handcrafting target spiking signals, which in turn implicitly fixes the mechanisms used to decode spikes into natural signals, e.g., rate decoding. The arbitrary choice of target signals and decoding rule generally impairs the capacity of the SNN to encode and process information in the timing of spikes. To address this problem, this work introduces a hybrid variational autoencoder architecture, consisting of an encoding SNN and a decoding Artificial Neural Network (ANN). The role of the decoding ANN is to learn how to best convert the spiking signals output by the SNN into the target natural signal. A novel end-to-end learning rule is introduced that optimizes a directed information bottleneck training criterion via surrogate gradients. We demonstrate the applicability of the technique in an experimental settings on various tasks, including real-life datasets.

研究动机与目标

• 解决脉冲神经网络（SNN）中手工设计解码规则的局限性，这些规则限制了脉冲时间作为信息编码手段的使用。
• 通过允许SNN与可学习解码器联合训练，克服固定解码策略的问题，使SNN能够学习最优的脉冲表示。
• 构建一种混合SNN-ANN自编码器框架，其中ANN学习将SNN输出解码为自然信号，实现端到端优化。
• 为SNN中因果性、连续时间的脉冲动态量身定制定向信息瓶颈准则，替代传统的互信息。
• 在真实类脑计算数据集（包括MNIST-DVS）上验证该方法的有效性，用于图像重建与分类。

提出的方法

• 提出一种混合变分自编码器，包含SNN编码器和ANN解码器，其中SNN处理脉冲输入，ANN重建自然信号。
• 提出一种基于定向信息瓶颈（DIB）准则的新型端到端学习规则，推广以处理因果性、时变的脉冲信号。
• 使用代理梯度反向传播通过SNN，实现尽管脉冲操作不可微，仍可训练脉冲神经元。
• 优化DIB目标的变分下界，平衡重建精度与脉冲表示中无关信息的压缩。
• 采用联合训练方案，SNN与ANN同时训练，SNN提供逐神经元学习信号，ANN提供全局反馈。
• 将参考信号定义为原始自然目标（如图像），并训练系统从SNN脉冲输出中重建该目标。

实验结果

研究问题

• RQ1 混合SNN-ANN自编码器能否在无需预设解码规则假设的情况下，学习将输入信号编码为可最优解码为自然信号的脉冲序列？
• RQ2 与传统的手工设计解码策略（如脉冲率或首次脉冲解码）相比，所提出的定向信息瓶颈（VDIB）方法在脉冲表示学习方面有何改进？
• RQ3 SNN在多大程度上能学习到支持自然信号准确重建与下游分类的有信息量的脉冲时间模式？
• RQ4 编码窗口大小τₑ与解码窗口大小τd等超参数如何影响VDIB框架的性能？
• RQ5 VDIB框架能否有效实现来自真实类脑传感器（如DVS相机）的脉冲输入的自然化？

主要发现

• 在MNIST数据集上，使用首次脉冲时间编码与VDIB解码，VDIB方法实现了92.82%的分类准确率，显著优于脉冲率解码（60.50%）和首次脉冲解码（86.43%）（使用MLP解码器时）。
• T-SNE可视化显示，VDIB生成了分离良好、具有类别区分性的脉冲表示，而脉冲率解码则导致重叠且模糊的聚类。
• 在MNIST-DVS数据集上，VDIB成功从脉冲输入中重建出与真实图像视觉质量相当的自然图像，证明了其有效的自然化能力。
• 该方法使SNN能够学习到不受预设解码机制约束的有信息量的时间编码模式，提升了信息容量。
• 消融研究证实，窗口大小τₑ与τd的选择显著影响性能，最优值可提升重建与分类效果。
• 通过代理梯度实现端到端训练的混合SNN-ANN框架，实现了对脉冲神经元的有效反向传播，突破了不可微性的障碍。