[논문 리뷰] Hybrid Spiking Neural Network Fine-tuning for Hippocampus Segmentation

Ye Yue, Marc Baltes외 5명|arXiv (Cornell University)|2023. 02. 14.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 MRI 스캔에서 해마 분할을 위한 하이브리드 스파iking 신경망(SNN) 미세조정 방법을 제안한다. 기존의 ANN-SNN 변환과 스파이크 기반 역전파를 융합하여 정확도와 학습 효율성을 향상시킨다. 이 방법은 직접 SNN 학습에 비해 수렴 시간을 80% 이상 단축시키며, 원래 ANN 수준에 가까운 분할 성능을 달성한다.

ABSTRACT

Over the past decade, artificial neural networks (ANNs) have made tremendous advances, in part due to the increased availability of annotated data. However, ANNs typically require significant power and memory consumptions to reach their full potential. Spiking neural networks (SNNs) have recently emerged as a low-power alternative to ANNs due to their sparsity nature. SNN, however, are not as easy to train as ANNs. In this work, we propose a hybrid SNN training scheme and apply it to segment human hippocampi from magnetic resonance images. Our approach takes ANN-SNN conversion as an initialization step and relies on spike-based backpropagation to fine-tune the network. Compared with the conversion and direct training solutions, our method has advantages in both segmentation accuracy and training efficiency. Experiments demonstrate the effectiveness of our model in achieving the design goals.

연구 동기 및 목표

• 의료 영상 분할에서 인공신경망(ANN)의 높은 계산 및 전력 소모 문제를 해결하기 위해.
• ANN-SNN 변환의 한계를 극복하기 위해, 이는 일반적으로 부적절한 임계값과 낮은 성능을 초래하는 뉴런 활성도 부족으로 인한 것이다.
• 의료 영상 분할, 특히 해마 분할에 적합한 스파이킹 신경망(SNN)의 정확도와 학습 효율성을 향상시키기 위해.
• U-형 아키텍처(예: U-Net)에 대한 하이브리드 SNN 미세조정의 실현 가능성과 효과성을 의료 영상 맥락에서 입증하기 위해.

제안 방법

• 방법은 사전에 훈련된 U-Net(ANN) 모델에서 시작하며, 표준 ANN-to-SNN 변환 기법을 사용해 SNN로 변환한다.
• SNN의 발화 임계값은 사전 훈련된 ANN의 가중치를 기반으로 초기화되며, 200개의 시간 단계를 기반으로 한 변환을 사용한다.
• 서로 다른 기울기(Surrogate Gradients)를 사용하는 스파이크 기반 역전파 알고리즘을 적용해 SNN 가중치를 미세조정하여 변환 단계에서 유도된 부적절한 임계값을 보정한다.
• 미세조정 과정은 Adam 옵timizer를 사용하며, ReduceLROnPlateau를 통한 학습률 스케줄링을 적용하고, 배치 크기가 26인 35 에포크 동안 훈련된다.
• 분할 성능 최적화를 위해 BCE, Dice, BCE-Dice 조합의 세 가지 손실 함수를 평가한다.
• 방법은 ADNI 데이터셋을 사용해 5겹 교차검증으로 평가되며, 입력 패치 크기는 24×56×48이다.

실험 결과

연구 질문

• RQ1 하이브리드 SNN 미세조정 접근법이 표준 ANN-SNN 변환에 비해 분할 정확도를 향상시킬 수 있는가?
• RQ2 스파이크 기반 역전파 미세조정은 직접 SNN 학습에 비해 학습 시간을 단축시키고 수렴 속도를 높일 수 있는가?
• RQ3 제안된 방법은 저전력 소비를 유지하면서 원래 ANN 수준의 성능을 달성할 수 있는가?
• RQ4 손실 함수 선택(BCE, Dice, BCE-Dice)이 미세조정된 SNN의 최종 분할 정확도에 어떤 영향을 미치는가?

주요 결과

• BCE-Dice 손실로 훈련한 미세조정된 SNN은 3D Dice 스코어 81.95±3.24를 기록했으며, ANN의 83.14±1.59에 매우 가까운 성능을 달성했다.
• 단순 변환된 SNN의 경우 3D Dice 스코어가 52.78±14.73로 유의미하게 낮아, 변환 후 반드시 미세조정이 필요함을 입증했다.
• 미세조정된 SNN의 평균 수렴 시간은 10.11 에포크(±4.90)였으며, 직접 SNN 학습에 일반적으로 소요되는 약 60 에포크에 비해 상당히 감소했다.
• 발화 주파수 분석 결과, 미세조정 후 뉴런 활성도가 증가했으며, 이는 네트워크의 반응성 향상과 지도 데이터와의 더 나은 일치를 확인했다.
• Dice 손실 함수가 세 가지 중에서 가장 뛰어난 성능를 보였으며, 미세조정된 SNN은 2D Dice 78.09±3.85와 3D Dice 81.86±4.40를 기록했다.
• 시각적 비교(그림 2)는 미세조정된 SNN이 변환된 SNN보다 지도 데이터와 형태와 크기에서 훨씬 유사한 분할 마스크를 생성했음을 확인했다.