[논문 리뷰] Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch

Youngeun Kim, Priyadarshini Panda|arXiv (Cornell University)|2020. 10. 05.

Advanced Memory and Neural Computing인용 수 14

한 줄 요약

이 논문은 스파iking 신경망(SNNs)에서 시간 단위로 배치 정규화 파ameters를 분리하여 효과적인 시간 방향 역전파를 가능하게 하는 시간적 배치 정규화 기법인 배치 정규화를 통한 시간(BNTT)을 제안한다. BNTT는 학습 가능한 시간에 따라 변하는 파ameters를 통해 스파이크 동역학을 포착하며, 단지 25~30개의 시간 단계만으로도 깊은 SNN의 엔드 투 엔드 훈련을 가능하게 하여 CIFAR-10에서 90.5%의 정확도를 달성하고, 이전 방법들에 비해 지연 시간과 에너지 소비를 크게 감소시킨다.

ABSTRACT

Spiking Neural Networks (SNNs) have recently emerged as an alternative to deep learning owing to sparse, asynchronous and binary event (or spike) driven processing, that can yield huge energy efficiency benefits on neuromorphic hardware. However, training high-accuracy and low-latency SNNs from scratch suffers from non-differentiable nature of a spiking neuron. To address this training issue in SNNs, we revisit batch normalization and propose a temporal Batch Normalization Through Time (BNTT) technique. Most prior SNN works till now have disregarded batch normalization deeming it ineffective for training temporal SNNs. Different from previous works, our proposed BNTT decouples the parameters in a BNTT layer along the time axis to capture the temporal dynamics of spikes. The temporally evolving learnable parameters in BNTT allow a neuron to control its spike rate through different time-steps, enabling low-latency and low-energy training from scratch. We conduct experiments on CIFAR-10, CIFAR-100, Tiny-ImageNet and event-driven DVS-CIFAR10 datasets. BNTT allows us to train deep SNN architectures from scratch, for the first time, on complex datasets with just few 25-30 time-steps. We also propose an early exit algorithm using the distribution of parameters in BNTT to reduce the latency at inference, that further improves the energy-efficiency.

연구 동기 및 목표

• 스파iking 뉴런의 비미분 가능성으로 인해 고정확도, 저지연 SNN을 처음부터 훈련하는 데 도전하는 문제를 해결하기 위해.
• 표준 배치 정규화가 시간 단계 간 공유된 파ameters로 인해 시간 동역학을 포착하지 못하는 SNN에서의 한계를 극복하기 위해.
• 서브티튜트 그래디언트 역전파를 통해 복잡한 데이터셋인 CIFAR-100과 Tiny-ImageNet에서 깊은 SNN 아키텍처의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 시간에 따라 적응하는 스파이크 레이트 제어를 시간적으로 분리된 파ameters를 통해 학습시켜 에너지 효율성과 추론 지연 시간을 향상시키기 위해.
• BNTT를 활용한 SNN의 시간 동역학을 통해 적대적 공격에 대한 강건성을 향상시키기 위해.

제안 방법

• 시간 축에 따라 배치 정규화 파ameters를 분리하는 SNN 전용의 새로운 배치 정규화 레이어인 배치 정규화를 통한 시간(BNTT)을 제안한다.
• BNTT에 시간에 따라 변하는, 학습 가능한 파ameters를 도입하여 뉴런이 다양한 시간 단계에서 스파이크 레이트를 적응적으로 조절할 수 있도록 한다.
• BNTT를 SNN에 추가 레이어로 구현하고, 시간적 스파이크 동역학을 최적화하기 위해 서브티튜트 그래디언트 역전파를 통해 훈련한다.
• BNTT 파ameters의 분포를 기반으로 한 조기 종료 추론 전략을 설계하여 지연 시간을 줄이고 에너지 효율성을 더욱 향상시킨다.
• 표준 배치 정규화가 모든 시간 단계를 종합하는 것과는 달리, 각 시간 단계별로 별도로 배치 통계를 계산하는 시간 정규화 기법을 설계한다.
• BNTT를 서브티튜트 그래디언트 방법과 함께 적용하여 이미지 분류 벤치마크에서 깊은 SNN의 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 배치 정규화는 SNN의 스파이크 활동 시간 동역학을 효과적으로 포착할 수 있는가?
• RQ2 시간적으로 분리된 배치 정규화 기법은 복잡한 데이터셋에서 깊은 SNN의 엔드 투 엔드 훈련을 처음부터 가능하게 하는가?
• RQ3 기존의 SNN 훈련 방법에 비해 BNTT는 추론 지연 시간과 에너지 소비를 줄이는가?
• RQ4 BNTT는 표준 SNN 훈련 방법에 비해 적대적 공격에 대한 강건성을 향상시키는가?
• RQ5 SNN 맥락에서 BNTT는 레이어 정규화와 같은 대안적 정규화 기법보다 나은가?

주요 결과

• BNTT는 CIFAR-10, CIFAR-100, Tiny-ImageNet, DVS-CIFAR10에서 깊은 SNN의 엔드 투 엔드 훈련을 25~30개의 시간 단계만으로 처음부터 가능하게 한다.
• VGG9를 사용한 CIFAR-10에서 BNTT는 단지 25개의 시간 단계로 90.5%의 정확도를 달성하며, 변환 방법(1000개의 시간 단계, 91.2%)과 서브티튜트 그래디언트 방법(100개의 시간 단계, 88.7%)을 모두 능가한다.
• CIFAR-10에서 BNTT는 변환 방법 대비 96.9% 감소, 서브티튜트 그래디언트 훈련 대비 90.8% 감소한 스파이크 수를 기록한다.
• 뉴로모르픽 하드웨어(TrueNorth)에서 BNTT는 0.0312의 정규화된 에너지 소비를 달성하여 변환 기반 기준 대비 96.9% 감소한 결과를 보였다.
• BNTT는 FGSM 적대적 공격에 대해 표준 서브티튜트 그래디언트 및 변환 기반 SNN보다 더 높은 정확도를 유지하며, 공격 강도가 다양할 때에도 뛰어난 강건성을 보였다.
• CIFAR-10에서 BNTT는 90.5%의 정확도를 기록한 반면, 레이어 정규화(LN)는 75.4%에 그쳐, BNTT가 시간적 스파이크 동역학을 모델링하는 데서 뛰어난 우수성을 입증했다.