[논문 리뷰] Membrane Potential Batch Normalization for Spiking Neural Networks

Yufei Guo, Yuhan Zhang외 6명|arXiv (Cornell University)|2023. 08. 16.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 스파iking 신경망(SNNs)를 위한 새로운 배치 정규화 기법인 막전위 배치 정규화(MPBN)를 제안한다. MPBN은 화재 함수 이전에 막전위를 정규화하여 잔류 전위 업데이트로 인한 데이터 흐름 방해를 보완한다. MPBN을 학습 가능한 화재 임계치로 재매aram터라이제이션함으로써 추론 오버헤드를 제거하면서도 채널별 및 요소별 정규화를 가능하게 하여, 최소한의 시간 스텝으로 CIFAR-10, CIFAR-100 및 ImageNet에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

As one of the energy-efficient alternatives of conventional neural networks (CNNs), spiking neural networks (SNNs) have gained more and more interest recently. To train the deep models, some effective batch normalization (BN) techniques are proposed in SNNs. All these BNs are suggested to be used after the convolution layer as usually doing in CNNs. However, the spiking neuron is much more complex with the spatio-temporal dynamics. The regulated data flow after the BN layer will be disturbed again by the membrane potential updating operation before the firing function, i.e., the nonlinear activation. Therefore, we advocate adding another BN layer before the firing function to normalize the membrane potential again, called MPBN. To eliminate the induced time cost of MPBN, we also propose a training-inference-decoupled re-parameterization technique to fold the trained MPBN into the firing threshold. With the re-parameterization technique, the MPBN will not introduce any extra time burden in the inference. Furthermore, the MPBN can also adopt the element-wised form, while these BNs after the convolution layer can only use the channel-wised form. Experimental results show that the proposed MPBN performs well on both popular non-spiking static and neuromorphic datasets. Our code is open-sourced at \href{https://github.com/yfguo91/MPBN}{MPBN}.

연구 동기 및 목표

• 배치 정규화 이후 컨볼루션 레이어에서 발생하는 잔류 막전위 업데이트로 인한 SNNs 내 데이터 흐름 방해 문제를 해결하기 위해.
• 막전위 단계에 두 번째 정규화 레이어를 도입하여 깊은 SNNs의 학습 안정성과 수렴성을 향상시키기 위해.
• MPBN을 화재 임계치로 재매aram터라이제이션하여 추가 정규화로 인한 추론 시간 오버헤드를 제거하기 위해.
• 임계치 접기 기법을 활용해 기존에 CNN에서 불가능했던 SNNs 내 요소별 정규화를 가능하게 하기 위해.
• 정적 및 뉴로모르픽 데이터셋에서 일관된 성능 향상을 최소한의 시간 스텝으로 보여주기 위해.

제안 방법

• 스파iking 뉴런에서 막전위 업데이트(MPU) 이후 화재 함수 이전에 적용하는 MPBN이라는 배치 정규화 레이어를 제안한다.
• 학습-추론 분리 기반 재매aram터라이제이션 기법을 설계하여 훈련된 MPBN 통계(평균, 분산, 스케일, 시프트)를 화재 임계치로 접는다.
• 재매aram터라이제이션된 임계치를 유도한다: $ (\tilde{V}_{\text{th}})_{i,j,k} = \frac{(V_{\text{th}} - \beta_{i,j,k}) \sqrt{\sigma_{i,j,k}^2}}{\lambda_{i,j,k}} + \mu_{i,j,k} $, 이는 요소별 임계치 적응을 가능하게 한다.
• 채널별 및 요소별 MPBN을 모두 지원하여 CNN에서 채널별 BN만 접을 수 있는 한계를 극복한다.
• CIFAR 및 ImageNet 벤치마크에서 표준 데이터 증강과 코즈인 감소를 적용한 SGD 최적화와 함께 MPBN를 적용한다.
• 두 단계 훈련 프로세스를 활용: backpropagation 동안 MPBN로 훈련한 후, 추론에서 MPBN를 제거하기 위해 재매aram터라이제이션한다.

Figure 1 : The difference between our SNN with MPBN and the vanilla SNN. We add another BN layer after membrane potential updating (MPU) operation in the training. The MPBN can be folded into the firing threshold and then the homogenous firing threshold will be transformed into different ones.

실험 결과

연구 질문

• RQ1 막전위 업데이트 이후 두 번째 배치 정규화 레이어를 추가하면 SNNs의 학습 안정성과 수렴성이 향상되는가?
• RQ2 성능 저하 없이 MPBN의 계산 오버헤드를 추론 단계에서 완전히 제거할 수 있는가?
• RQ3 임계치로의 재매aram터라이제이션을 통해 요소별 정규화가 SNNs에서 실현 가능하고 유익한가?
• RQ4 정적 및 동적 데이터셋에서 기존 SNNs의 BN 방법과 비교해 MPBN는 어떤가?
• RQ5 기존 SNN 모델보다 더 적은 시간 스텝으로 MPBN가 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CIFAR-10에서 MPBN는 단 2개의 시간 스텝으로 96.47%의 top-1 정확도를 달성하여 Real Spike(6개 시간 스텝) 및 RecDis-SNN를 능가한다.
• CIFAR-100에서 MPBN는 2개의 시간 스텝으로 79.51%의 top-1 정확도를 기록하며, TEBN, TET 및 RecDis-SNN보다 1.66%에서 3.99% 높은 성능을 내며 더 많은 시간 스텝을 사용한 경우에도 승리한다.
• 1개의 시간 스텝으로 MPBN는 ResNet19를 사용해 CIFAR-10에서 96.06%의 정확도를 달성하며, 4~6개 시간 스텝이 필요한 다른 최신 기술 수준의 방법들을 능가한다.
• 요소별 MPBN 버전은 CIFAR-10에서 4개의 시간 스텝으로 94.42%의 정확도를 기록하며 채널별 버전(94.28%)보다 略적으로 높아 더 풍부한 표현 능력을 보여준다.
• ImageNet에서는 MPBN가 강력한 성능을 보였지만, 비표준이고 비이벤트 기반 스파이크 패턴을 사용하는 SEW ResNet에 비해 略적으로 낮은 성능을 보였다. 이는 SNN의 장점을 희생시키는 조건이다.
• 재매aram터라이제이션 기법은 MPBN를 성공적으로 화재 임계치로 접어내어 추론 시간 비용을 완전히 제거하면서도 훈련의 이점을 유지했다.

(a) CIFAR-10