[논문 리뷰] RMP-Loss: Regularizing Membrane Potential Distribution for Spiking Neural Networks

Yufei Guo, Xiaode Liu외 6명|arXiv (Cornell University)|2023. 08. 13.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 스파iking 신경망(SNNs)에서 막전위 분포를 이진 스파이크 값(0 또는 1)으로 재분배함으로써 양자화 오차를 줄이는 단순하면서도 효과적인 정규화 손실인 RMP-Loss를 제안한다. 학습 중에 막전위와 스파이크 임계값 사이의 거리를 직접 최소화함으로써, 추가 파rameter나 추론 오버헤드 없이도 SNN의 정확도를 향상시킨다. 이는 CIFAR-10, CIFAR-100, CIFAR10-DVS, ImageNet에서 최신 기술 수준의 성능을 달성하며, 더 적은 타임스텝 수로도 가능하다.

ABSTRACT

Spiking Neural Networks (SNNs) as one of the biology-inspired models have received much attention recently. It can significantly reduce energy consumption since they quantize the real-valued membrane potentials to 0/1 spikes to transmit information thus the multiplications of activations and weights can be replaced by additions when implemented on hardware. However, this quantization mechanism will inevitably introduce quantization error, thus causing catastrophic information loss. To address the quantization error problem, we propose a regularizing membrane potential loss (RMP-Loss) to adjust the distribution which is directly related to quantization error to a range close to the spikes. Our method is extremely simple to implement and straightforward to train an SNN. Furthermore, it is shown to consistently outperform previous state-of-the-art methods over different network architectures and datasets.

연구 동기 및 목표

• 실수 값의 막전위를 이진 스파이크(0/1)로 매핑함으로써 발생하는 SNN의 양자화 오차를 직접 해결함으로써 정보 손실과 성능 저하를 방지하기 위함이다.
• 추가 파arameter나 추론 시 계산 오버헤드를 도입하지 않고도 이 양자화 오차를 최소화하는 학습 방법을 개발하기 위함이다.
• 막전위가 스파이크 임계값 또는 리셋 값 근처에 집중하도록 유도함으로써 다양한 아키텍처와 데이터셋에서 SNN 성능을 향상시키기 위함이다.
• 이론적으로 탄탄하고 단순하며 보편적으로 적용 가능한 정규화 기법을 제공함으로써, 엔드 투 엔드 SNN 학습의 안정성과 정확도를 향상시키기 위함이다.

제안 방법

• 학습 중에 백프로파게이션 동안 막전위와 해당 0/1 스파이크 값 사이의 L2 거리를 벌리지 않도록 하는 새로운 정규화 손실인 RMP-Loss를 도입한다.
• 이 손실 함수는 표준 작업 손실에 정규화 항으로 추가되어, 학습 중에 막전위가 이진 스파이크 수준(0 또는 1)에 집중하도록 유도한다.
• 이 방법은 네트워크 아키텍처나 활성화 함수를 수정하지 않고도 막전위 분포에 직접 작용한다.
• RMP-Loss는 미분 가능하며 표준 백프로파게이션과 호환되어, 서로구조적 기울기 방법을 사용한 SNN의 엔드 투 엔드 학습이 가능하다.
• 정규화는 계층별로 적용되며, SNN의 추론 메커니즘이나 스파이크 생성 규칙을 변경하지 않는다.
• 이 방법은 아키텍처에 종속되지 않으며, 최소한의 코드 수정으로도 어떤 SNN 학습 파이프라인에나 쉽게 통합할 수 있다.

Figure 1 : The overall workflow of the proposed method. We embed a membrane potential regularization loss in the task loss to redistribute the membrane potential in the training phase to reduce the quantization error.

실험 결과

연구 질문

• RQ1 막전위 분포를 이진 스파이크 값으로 직접 정규화함으로써 SNN의 양자화 오차를 줄일 수 있는가?
• RQ2 파arameter가 없는 단순한 정규화 손실이 추론 비용을 증가시키지 않고도 SNN 정확도를 향상시킬 수 있는가?
• RQ3 다양한 데이터셋과 아키텍처에서 RMP-Loss는 최신 기술 수준의 SNN 학습 방법과 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ4 아키텍처 변경이나 타임스텝 수 증가를 통해 간접적으로 양자화 오차를 줄이는 방법보다 RMP-Loss가 더 높은 성능을 낼 수 있는가?

주요 결과

• CIFAR-10에서 RMP-Loss는 ResNet20와 4개 타임스텝을 사용해 93.65%의 top-1 정확도를 기록하며, 이전 최고 성능인 TET보다 4.26% 높다.
• CIFAR-100에서 RMP-Loss는 ResNet20와 4개 타임스텝을 사용해 66.65%의 top-1 정확도를 기록하며, Diet-SNN보다 2.58% 높고 Real Spike보다 0.05% 높다.
• 뉴로모픽 기반의 CIFAR10-DVS 데이터셋에서 RMP-Loss는 ResNet19와 10개 타임스텝을 사용해 76.20%의 top-1 정확도를 기록하며, InfLoR-SNN보다 0.70% 높고 RecDis-SNN보다 3.78% 높다.
• ImageNet에서는 ResNet34와 4개 타임스텝을 사용해 65.17%의 top-1 정확도를 기록하며, 이진 스파이크를 사용하는 표준 SNN 중에서 가장 높은 성능을 기록한다. 다만, 비이진 스파이크 출력을 사용하는 SEW ResNet에 비해 略적으로 낮다.
• 시각화 결과는 RMP-Loss가 막전위 분포의 범위를 좁혀 스파이크 임계값과의 거리를 줄이며, 양자화 오차를 최소화함을 확인한다.
• 이 방법은 여러 아키텍처(ResNet19, ResNet20, VGG16)와 데이터셋에서 일관되게 성능 향상을 보이며, 광범위한 적용 가능성과 강건성을 입증한다.

Figure 2 : The effect of RMP-Loss. The overall original membrane potential distribution (left) and the redistributed membrane potential distribution by RMP-Loss (right) of the first layer of the second block in ResNet20 on CIFAR-10 test sets.