[논문 리뷰] Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation

Youngeun Kim, Joshua Chough외 1명|arXiv (Cornell University)|2021. 10. 14.

Advanced Memory and Neural Computing참고 문헌 48인용 수 4

한 줄 요약

이 논문은 배치 정규화를 시간에 따라 적용하는(BNTT) 서면 기반 역전파를 사용한 대체 기울기(backpropagation)를 통해 스파iking 신경망(SNNs)을 직접 훈련하여 의미 분할을 수행하는 방법을 제안한다. 이는 ANN-SNN 변환보다 높은 정확도와 에너지 효율성을 달성한다. 이 방법은 정적 이미지와 이벤트 기반 데이터 모두에서 저지연 추론을 가능하게 하며, 정적 데이터셋에서 2배 이상의 에너지 효율성 향상을 보였다.

ABSTRACT

Spiking Neural Networks (SNNs) have recently emerged as the low-power alternative to Artificial Neural Networks (ANNs) because of their sparse, asynchronous, and binary event-driven processing. Due to their energy efficiency, SNNs have a high possibility of being deployed for real-world, resource-constrained systems such as autonomous vehicles and drones. However, owing to their non-differentiable and complex neuronal dynamics, most previous SNN optimization methods have been limited to image recognition. In this paper, we explore the SNN applications beyond classification and present semantic segmentation networks configured with spiking neurons. Specifically, we first investigate two representative SNN optimization techniques for recognition tasks (i.e., ANN-SNN conversion and surrogate gradient learning) on semantic segmentation datasets. We observe that, when converted from ANNs, SNNs suffer from high latency and low performance due to the spatial variance of features. Therefore, we directly train networks with surrogate gradient learning, resulting in lower latency and higher performance than ANN-SNN conversion. Moreover, we redesign two fundamental ANN segmentation architectures (i.e., Fully Convolutional Networks and DeepLab) for the SNN domain. We conduct experiments on two public semantic segmentation benchmarks including the PASCAL VOC2012 dataset and the DDD17 event-based dataset. In addition to showing the feasibility of SNNs for semantic segmentation, we show that SNNs can be more robust and energy-efficient compared to their ANN counterparts in this domain.

연구 동기 및 목표

• 스파iking 신경망(SNNs)을 의미 분할에 적용할 수 있는지 검토하는 것, 이는 전통적인 이미지 분류를 넘어서는 과제이다.
• ANN-SNN 변환의 한계를 해결하기 위한 것으로, 공간적 및 채널별 활성화 분산으로 인해 고지연과 낮은 성능이 발생하는 의미 분할 과제에서의 문제를 해결하는 것이다.
• 동적 비전 센서(DVS)에서 유래한 이벤트 기반 데이터와 호환되는 SNN 전용 아키텍처(Spiking-DeepLab 및 Spiking-FCN)를 개발하는 것.
• 직접 훈련된 SNN이 의미 분할 과제에서 ANN 대비 더 높은 에너지 효율성과 강건성을 달성할 수 있음을 입증하는 것.

제안 방법

• 비미분 가능한 LIF 뉴런을 통해 역전파를 수행하기 위해 서면 기반 기울기 학습을 사용하며, 기울기를 조각별 선형 함수로 근사한다.
• 훈련을 안정화하고 SNN을 처음부터 엔드 투 엔드로 학습할 수 있도록 시간에 따라 배치 정규화(BNTT)를 적용한다.
• 표준 ANN 분할 아키텍처인 완전 컨volution 네트워크(FCN)와 DeepLab을 스파이킹 등가물인 Spiking-FCN와 Spiking-DeepLab로 재설계한다.
• MAC 연산은 ANN에서 4.6 pJ, SNN에서는 0.9 pJ에 해당하므로, 스파ike 레이트로 스케일링된 FLOPs와 CMOS 에너지 모델을 사용해 에너지 효율성을 계산한다.
• 픽셀 단위의 분할을 최적화하기 위해 훈련 중에 공간적 교차 엔트로피 손실을 적용한다.
• 정적 이미지(PASCAL VOC2012)와 이벤트 스트림(DDD17) 데이터셋을 모두 평가하여 강건성과 효율성을 점검한다.

실험 결과

연구 질문

• RQ1 ANN-SNN 변환에 의존하지 않고 직접 역전파를 사용하여 SNN을 의미 분할 과제에 효과적으로 훈련시킬 수 있는가?
• RQ2 의미 분할 과제에서 직접 훈련된 SNN의 정확도와 추론 지연은 ANN-SNN 변환된 SNN에 비해 어떻게 비교되는가?
• RQ3 특히 DVS 카메라에서 유래한 이벤트 기반 데이터를 처리할 때 SNN은 의미 분할 과제에서 얼마나 높은 에너지 효율성을 보이는가?
• RQ4 스파이킹 분할 네트워크의 각 레이어에서 스파이크 레이트와 시간 동역학은 어떻게 변화하며, 에너지 소비에 어떤 영향을 미치는가?

주요 결과

• ANN-SNN 변환은 높은 공간적 및 채널별 활성화 분산으로 인해 의미 분할 과제에서 합리적인 성능을 달성하지 못하며, 수렴하기 위해 1,000개 이상의 시간 스텝이 필요하다.
• 서면 기반 기울기와 BNTT를 사용한 직접 훈련은 PASCAL VOC2012 및 DDD17 데이터셋에서 상태 기반 SNN 성능을 달성하며, 훨씬 적은 시간 스텝으로 수렴한다.
• Spiking-FCN와 Spiking-DeepLab은 정적 PASCAL VOC2012 데이터셋에서 각각 ANN 대비 2.37배와 2.75배 높은 에너지 효율성을 달성한다.
• 이벤트 기반 DDD17 데이터셋에서는 SNN이 ANN 대비 에너지 효율성에서 1.04배와 1.15배 향상되었지만, 더 높은 스파이크 레이트로 인해 이는 제한적이다. 그러나 여전히 뉴로모픽 데이터와의 호환성을 보였다.
• 스패이크 레이트는 스케일업 레이어에서 가장 높으며, 이는 스위치 연결으로 인해 전파 과정에서 추가 스파이크가 유입되기 때문이다.
• SNN의 에너지 소비는 데이터에 따라 동적으로 변하며, ANN와 달리 입력에 관계없이 고정된 에너지를 소비하지 않는다.