[论文解读] Adversarially Robust Spiking Neural Networks Through Conversion

Ozan Özdenizci, Robert Legenstein|arXiv (Cornell University)|Nov 15, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出了一种新颖的对抗鲁棒SNN转换方法，通过在转换后对突触权重和逐层发放阈值进行对抗性微调，将预训练鲁棒ANN的鲁棒性迁移至SNN。该方法实现了低延迟下的最先进鲁棒性，其鲁棒准确率相比端到端SNN训练最高提升2倍，同时在转换过程中保持了批量归一化动态特性。

ABSTRACT

Spiking neural networks (SNNs) provide an energy-efficient alternative to a variety of artificial neural network (ANN) based AI applications. As the progress in neuromorphic computing with SNNs expands their use in applications, the problem of adversarial robustness of SNNs becomes more pronounced. To the contrary of the widely explored end-to-end adversarial training based solutions, we address the limited progress in scalable robust SNN training methods by proposing an adversarially robust ANN-to-SNN conversion algorithm. Our method provides an efficient approach to embrace various computationally demanding robust learning objectives that have been proposed for ANNs. During a post-conversion robust finetuning phase, our method adversarially optimizes both layer-wise firing thresholds and synaptic connectivity weights of the SNN to maintain transferred robustness gains from the pre-trained ANN. We perform experimental evaluations in a novel setting proposed to rigorously assess the robustness of SNNs, where numerous adaptive adversarial attacks that account for the spike-based operation dynamics are considered. Results show that our approach yields a scalable state-of-the-art solution for adversarially robust deep SNNs with low-latency.

研究动机与目标

• 为应对对抗攻击下脉冲神经网络（SNNs）缺乏可扩展、鲁棒的训练方法的问题。
• 克服SNN中端到端对抗训练的局限性，后者因基于脉冲的反向传播导致计算不可行性和梯度混淆。
• 通过基于转换的框架，实现从预训练、对抗训练的ANN到SNN的鲁棒性迁移。
• 将专为ANN设计的鲁棒学习目标整合到SNN中，而无需从头开始重新训练。
• 在转换过程中保持批量归一化层的优势，避免标准SNN转换流程中忽略批量归一化层的问题。

提出的方法

• 使用混合转换方法将预训练的鲁棒人工神经网络（ANN）转换为脉冲神经网络（SNN），以保留网络结构和权重。
• 在SNN中对抗性微调突触连接权重和逐层发放阈值，以维持并增强从ANN迁移而来的鲁棒性。
• 通过一种新颖的时间批量归一化（tdBN）层，将预训练ANN中的批量归一化参数整合到SNN中，支持对抗性训练。
• 使用针对SNN动态特性量身定制的可微分近似方法构建自适应对抗样本，评估期间考虑时间上的脉冲行为。
• 使用固定仿真时间窗口T的速率编码或直接输入编码方式，评估SNN在对抗攻击下的性能。
• 采用PGD-based对抗攻击，设置不同的扰动预算（ε），以在多种设置下评估鲁棒性。

实验结果

研究问题

• RQ1 能否通过转换与微调，有效将预训练、对抗训练的ANN的鲁棒性迁移至SNN？
• RQ2 与标准转换相比，SNN中同时对权重和发放阈值进行对抗性微调是否能显著提升鲁棒性？
• RQ3 在SNN转换过程中，能否保留并有效利用批量归一化层而不损害鲁棒性？
• RQ4 与端到端对抗训练的SNN相比，该方法在鲁棒准确率和延迟方面表现如何？
• RQ5 该方法在提升对分布外扰动（如噪声、模糊和天气影响）的泛化能力方面，改善程度如何？

主要发现

• 所提方法在CIFAR-10上经PGD-20攻击（ε=1.0）下实现了92.14%的最先进鲁棒准确率，优于先前SOTA方法。
• 经过60轮对抗性微调，该方法在CIFAR-10上达到13.18%的鲁棒准确率，显著优于两轮微调基线（12.97%）和一轮基线（11.42%）。
• 该方法提升了分布外泛化能力，在CIFAR-10-C上实现83.85%的平均准确率，在CIFAR-100-C上实现54.06%，优于原始SNN和SNN-RAT。
• SNN-RAT基线在噪声鲁棒性方面表现改善，但在其他类型扰动下表现更差；相比之下，所提方法在所有扰动类型中均保持一致的性能提升。
• 消融研究证实，鲁棒微调阶段至关重要，因为未经过该阶段的模型即使采用直接输入编码和T=8，转换后也仅能达到随机水平准确率。
• 该方法缓解了鲁棒性-准确率权衡，在保持高干净准确率（92.14%）的同时，实现了强鲁棒性（PGD-20下13.18%）。