[论文解读] HYPER-SNN: Towards Energy-efficient Quantized Deep Spiking Neural Networks for Hyperspectral Image Classification

Gourav Datta, Souvik Kundu+2 more|arXiv (Cornell University)|Jul 26, 2021

Remote-Sensing Image Classification参考文献 61被引用 5

一句话总结

该论文提出 HYPER-SNN，一种用于高光谱图像分类的量化脉冲神经网络，可直接处理模拟 HSI 像素值，无需转换为脉冲序列。通过量化感知训练，其在三个数据集上的计算能耗分别比全精度和6位量化CNN降低560.6倍和44.8倍，同时达到最先进（SOTA）的分类准确率。

ABSTRACT

Hyper spectral images (HSI) provide rich spectral and spatial information across a series of contiguous spectral bands. However, the accurate processing of the spectral and spatial correlation between the bands requires the use of energy-expensive 3-D Convolutional Neural Networks (CNNs). To address this challenge, we propose the use of Spiking Neural Networks (SNNs) that are generated from iso-architecture CNNs and trained with quantization-aware gradient descent to optimize their weights, membrane leak, and firing thresholds. During both training and inference, the analog pixel values of a HSI are directly applied to the input layer of the SNN without the need to convert to a spike-train. The reduced latency of our training technique combined with high activation sparsity yields significant improvements in computational efficiency. We evaluate our proposal using three HSI datasets on a 3-D and a 3-D/2-D hybrid convolutional architecture. We achieve overall accuracy, average accuracy, and kappa coefficient of 98.68%, 98.34%, and 98.20% respectively with 5 time steps (inference latency) and 6-bit weight quantization on the Indian Pines dataset. In particular, our models achieved accuracies similar to state-of-the-art (SOTA) with 560.6 and 44.8 times less compute energy on average over three HSI datasets than an iso-architecture full-precision and 6-bit quantized CNN, respectively.

研究动机与目标

• 解决3D CNN 在高光谱图像（HSI）分类中的高能耗问题，特别是针对边缘设备部署的挑战。
• 克服传统 CNN 在处理具有数百个光谱波段的高维 HSI 数据时的计算低效问题。
• 开发一种低功耗、高能效的替代方案，用于 HSI 分类，相较于全精度和量化 CNN，采用脉冲神经网络（SNNs）。
• 在 SNN 中直接处理模拟 HSI 像素值，无需脉冲序列编码，以降低延迟和计算开销。
• 通过量化感知训练和架构优化，实现最低计算能耗下的最先进分类准确率。

提出的方法

• 使用量化感知梯度下降端到端训练 SNN，以优化权重、膜泄漏和放电阈值。
• 直接将模拟 HSI 像素值输入到 SNN 输入层，无需转换为脉冲序列，从而保持输入保真度并减少编码延迟。
• 采用混合3D/2D卷积架构，联合提取光谱-空间特征，其中3D卷积用于捕捉光谱相关性，2D卷积用于建模空间上下文。
• 应用6位权重量化，在保持准确率的同时降低精度，利用低精度算术的能效优势。
• 利用激活稀疏性和低精度累加（AC）操作以最小化计算能耗，因为 AC 操作显著低于乘加（MAC）操作的成本。
• 采用一种训练框架，使 SNN 能够在准确率上匹配其父 CNN 的性能，同时大幅降低能耗。

实验结果

研究问题

• RQ1 使用量化感知梯度下降训练的 SNN 是否能在高光谱图像分类任务中达到与全精度 CNN 相当的分类准确率？
• RQ2 在 SNN 中直接处理模拟输入在多大程度上可降低 HSI 分类的延迟和计算成本？
• RQ3 在 HSI 分类任务中，量化 SNN 的能效与全精度和6位量化 CNN 相比如何？
• RQ4 混合3D/2D SNN 架构是否能有效捕捉 HSI 数据中的光谱-空间相关性，同时保持低能耗？
• RQ5 激活稀疏性和低精度算术对 SNN 在 HSI 分类中整体计算能耗的影响如何？

主要发现

• HYPER-SNN 在印度松林数据集上仅使用5个时间步和6位权重量化，即实现了98.68%的整体准确率、98.34%的平均准确率和98.20%的卡帕系数。
• 在三个 HSI 数据集上，所提出的 SNN 模型平均计算能耗分别比同架构的全精度 CNN 降低560.6倍，比6位量化 CNN 降低44.8倍。
• SNN 通过高激活稀疏性和高效的累加（AC）操作实现显著更低的 FLOPs，而 AC 操作相比乘加（MAC）操作成本更低。
• 能耗节省主要归因于低精度算术（6位权重）、高稀疏性以及 SNN 本身对稀疏脉冲活动的高效利用。
• 该训练框架使 SNN 在准确率上可匹配其父 CNN 的性能，同时大幅降低能耗，使其适用于电池供电边缘设备的部署。
• 通过降低权重位精度，内存访问成本降低了5.33倍，且可通过 PIM 加速器或非易失性存储器阵列等内存优化硬件设计进一步提升。