[논문 리뷰] Noisy Softplus: an activation function that enables SNNs to be trained as ANNs

Qian Liu, Yunhua Chen외 1명|arXiv (Cornell University)|2017. 03. 31.

Advanced Memory and Neural Computing참고 문헌 11인용 수 9

한 줄 요약

이 논문은 표준 backpropagation를 사용하여 SNN을 엔드 투 엔드로 훈련할 수 있도록 해주는 미분 가능 활성 함수인 Noisy Softplus를 제안한다. 이는 인공 신경망(ANN)과 마찬가지로 작동한다. 추가된 노이즈를 고려한 LIF 뉴런의 발화 속도를 정확히 모델링함으로써, 훈련된 ANN에서 SNN로 직접 가중치 전이가 가능해지며, MNIST에서 98.85%의 테스트 정확도를 달성한다. 이는 원래 ReLU 기반 ANN의 99.05%에 근접한 성능이며, 이전의 LIF 뉴런을 사용한 SNN보다 뛰어나다.

ABSTRACT

We extended the work of proposed activation function, Noisy Softplus, to fit into training of layered up spiking neural networks (SNNs). Thus, any ANN employing Noisy Softplus neurons, even of deep architecture, can be trained simply by the traditional algorithm, for example Back Propagation (BP), and the trained weights can be directly used in the spiking version of the same network without any conversion. Furthermore, the training method can be generalised to other activation units, for instance Rectified Linear Units (ReLU), to train deep SNNs off-line. This research is crucial to provide an effective approach for SNN training, and to increase the classification accuracy of SNNs with biological characteristics and to close the gap between the performance of SNNs and ANNs.

연구 동기 및 목표

• 깊이 있는 스파iking 신경망(SNN)을 효율적으로 훈련하면서 생물학적 타당성과 에너지 효율성을 유지하는 데 도전하는 것.
• 표준 backpropagation를 사용해 SNN을 직접 훈련함으로써 SNN과 ANN 간의 성능 격차를 해소하는 것.
• 훈련된 ANN 가중치를 변환 없이 재훈련 없이도 SNN에 직접 구현할 수 있는 일반화 가능한 방법을 개발하는 것.
• 더 생물학적으로 현실적인 IF 뉴런보다 더 나은 LIF 뉴런을 사용하는 SNN의 분류 정확도를 향상시키는 것.

제안 방법

• 노이즈가 있는 시냅스 입력 하에서 LIF 뉴런의 발화 속도를 모델링하는 미분 가능 활성 함수인 Noisy Softplus를 제안하며, 이는 소프트플러스와 확률적 노이즈를 조합한다.
• 실제 스파이크 다이내믹스와의 일치도를 향상시키기 위해 결정론적 Siegert 함수를 대체하기 위해 LIF 뉴런 반응의 확률적 근사치를 사용한다.
• Noisy Softplus를 사용하여 표준 backpropagation를 통해 깊이 있는 SNN을 엔드 투 엔드로 훈련하며, ANN에서 SNN로 직접 가중치 전이가 가능하도록 한다.
• 두 단계 훈련 전략을 적용한다: 먼저 ANN에서 ReLU를 사용해 훈련한 후, SNN의 정확도 저하를 줄이기 위해 Noisy Softplus로 미세조정한다.
• PyNN 시뮬레이션을 사용하여 표준 ConvNet 아키텍처(12c5-2s-64c5-2s-10fc)를 MNIST 데이터셋에 적용해 방법을 검증한다.
• 하드웨어 특화 에너지 비용(예: SpiNNaker에서 1회 이벤트당 8 nJ)을 사용하여 시냅스 이벤트 빈도와 발화 주파수를 기반으로 에너지 소비를 추정한다.

실험 결과

연구 질문

• RQ1 실제 노이즈가 있는 입력 조건 하에서 LIF 뉴런의 발화 속도를 정확히 모델링할 수 있는 미분 가능 활성 함수를 설계할 수 있는가?
• RQ2 이 활성 함수를 사용하여 표준 backpropagation로 SNN을 훈련할 수 있으며, ANN 수준의 성능을 달성할 수 있는가?
• RQ3 제안된 방법이 변환 없이 또는 재훈련 없이도 ANN로 훈련된 가중치를 SNN에 직접 배포할 수 있는가?
• RQ4 Noisy Softplus로 훈련된 SNN의 성능은 분류 정확도와 에너지 효율성 측면에서 최신 SNN 및 ANN과 비교해 어떻게 되는가?

주요 결과

• SNN에서 Noisy Softplus 활성 함수를 사용할 경우, MNIST 데이터셋에서 98.85%의 분류 정확도를 달성하였으며, 원래 ReLU 기반 ANN의 99.05%에 비해 0.20%의 정확도 저하만을 보였다.
• 이 성능는 LIF 뉴런을 사용한 SNN 중 보고된 바 가장 높은 성능이며, 유사한 아키텍처를 가진 이전 SNN 모델들을 능가한다.
• 표준 backpropagation를 사용하여 SNN를 엔드 투 엔드로 훈련할 수 있으며, 변환 단계 없이도 훈련된 가중치를 SNN에서 직접 사용할 수 있다.
• Noisy Softplus로의 미세조정은 예측된 발화 속도와 실제 발화 속도 간의 불일치를 크게 줄이며, 시험 전반에 걸쳐 안정성과 정확도를 향상시킨다.
• SNN는 테스트 시간 동안 약 300 ms 이내에 안정적인 분류 성능를 보이며, 실시간 뉴모르픽 비전 응용 분야에 적합함을 시사한다.
• 에너지 소비 추정 결과, 300 ms 내에 10,000장의 MNIST 이미지를 분류하는 데 약 0.064 W의 전력 소비가 예상되며, 시냅스 이벤트 빈도는 8×10⁶/s이다.