[论文解读] Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation

Ye Yue, Marc Baltes+5 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出了一种用于磁共振成像（MRI）中海马体分割的混合脉冲神经网络（SNN）微调方法，结合了人工神经网络（ANN）到SNN的转换与基于脉冲的反向传播，以提高准确性和训练效率。该方法在性能上接近原始ANN，与直接SNN训练相比，收敛时间减少了80%以上。

ABSTRACT

Over the past decade, artificial neural networks (ANNs) have made tremendous advances, in part due to the increased availability of annotated data. However, ANNs typically require significant power and memory consumptions to reach their full potential. Spiking neural networks (SNNs) have recently emerged as a low-power alternative to ANNs due to their sparsity nature. SNN, however, are not as easy to train as ANNs. In this work, we propose a hybrid SNN training scheme and apply it to segment human hippocampi from magnetic resonance images. Our approach takes ANN-SNN conversion as an initialization step and relies on spike-based backpropagation to fine-tune the network. Compared with the conversion and direct training solutions, our method has advantages in both segmentation accuracy and training efficiency. Experiments demonstrate the effectiveness of our model in achieving the design goals.

研究动机与目标

• 为解决人工神经网络（ANN）在医学图像分割中计算和功耗需求高的问题。
• 克服ANN-SNN转换的局限性，后者常因神经元激活不足而导致阈值不理想和性能欠佳。
• 提升脉冲神经网络（SNN）在医学图像分割中的准确性与训练效率，特别是针对海马体分割任务。
• 在医学影像背景下，展示混合SNN微调在U型网络架构（如U-Net）中的可行性与有效性。

提出的方法

• 该方法从一个预训练的U-Net（ANN）模型开始，使用标准的ANN到SNN转换技术将其转换为SNN。
• SNN中的发放阈值基于预训练ANN的权重初始化，采用基于时间步长的转换方法，时间步长为200。
• 应用基于脉冲的反向传播算法（使用替代梯度）对SNN权重进行微调，以修正转换步骤中产生的次优阈值。
• 微调过程使用Adam优化器，并通过ReduceLROnPlateau进行学习率调度，训练共35个周期，批量大小为26。
• 评估了三种损失函数——BCE、Dice以及BCE-Dice组合——以在微调过程中优化分割性能。
• 该方法在ADNI数据集上通过5折交叉验证进行评估，输入图像块大小为24×56×48。

实验结果

研究问题

• RQ1 与标准ANN-SNN转换相比，混合SNN微调方法是否能提升分割准确性？
• RQ2 与直接SNN训练相比，基于脉冲的反向传播微调是否能减少训练时间并提高收敛速度？
• RQ3 所提出的方法能否在保持低功耗的同时，实现接近原始ANN的性能？
• RQ4 损失函数的选择（BCE、Dice、BCE-Dice）如何影响微调后SNN的最终分割准确性？

主要发现

• 使用BCE-Dice损失微调的SNN在3D Dice评分上达到81.95±3.24，接近原始ANN的83.14±1.59。
• 仅经过转换的SNN 3D Dice评分显著较低，为52.78±14.73，证明了转换后微调的必要性。
• 微调SNN的平均收敛时间为10.11个周期（±4.90），远低于直接SNN训练通常所需的约60个周期。
• 发放频率分析显示，微调后神经元激活增加，证实网络响应性提升，且与真实标签分割更匹配。
• 在三种损失函数中，Dice损失表现最佳，微调SNN在2D Dice上达到78.09±3.85，在3D Dice上达到81.86±4.40。
• 视觉对比（图2）表明，微调SNN生成的分割掩膜在形状和大小上均比转换SNN更接近真实标签。