[논문 리뷰] Temporal-Coded Deep Spiking Neural Network with Easy Training and Robust Performance

Shibo Zhou, Xiaohua Li외 3명|arXiv (Cornell University)|2019. 09. 24.

Advanced Memory and Neural Computing참고 문헌 39인용 수 16

한 줄 요약

이 논문은 시계열 코딩을 사용하는 딥 스파iking 신경망(SNN)을 제안하며, CIFAR10과 ImageNet에서 직접적인 훈련이 가능하고, 동등한 DNN와의 테스트 정확도가 1% 이내에 머무르는 것을 가능하게 한다. 스파이크 웨이브폼 동역학에 대한 폐쇄형 해법을 활용함으로써, DNN와 유사한 훈련 용이성을 확보하면서도 8비트, 4비트, 2비트 가중치 양자화 및 노이즈 편향에 대한 강건성을 입증하여 에너지 효율적인 뉴로모픽 구현을 가능하게 한다.

ABSTRACT

Spiking neural network (SNN) is interesting both theoretically and practically because of its strong bio-inspiration nature and potentially outstanding energy efficiency. Unfortunately, its development has fallen far behind the conventional deep neural network (DNN), mainly because of difficult training and lack of widely accepted hardware experiment platforms. In this paper, we show that a deep temporal-coded SNN can be trained easily and directly over the benchmark datasets CIFAR10 and ImageNet, with testing accuracy within 1% of the DNN of equivalent size and architecture. Training becomes similar to DNN thanks to the closed-form solution to the spiking waveform dynamics. Considering that SNNs should be implemented in practical neuromorphic hardwares, we train the deep SNN with weights quantized to 8, 4, 2 bits and with weights perturbed by random noise to demonstrate its robustness in practical applications. In addition, we develop a phase-domain signal processing circuit schematic to implement our spiking neuron with 90% gain of energy efficiency over existing work. This paper demonstrates that the temporal-coded deep SNN is feasible for applications with high performance and high energy efficient.

연구 동기 및 목표

• 표준 벤치마크에서 직접적인 종단 간 훈련을 가능하게 함으로써 스파이킹 신경망(SNN)의 훈련이 어려운 문제를 해결하는 것.
• 정확도 측면에서 깊이 있는 신경망(DNN)과 유사한 성능을 달성하면서도 고에너지 효율성을 유지할 수 있음을 입증하는 것.
• 실제 뉴로모픽 하드웨어 구현을 위한 실용성을 입증하기 위해 극한의 가중치 양자화(8비트, 4비트, 2비트) 및 무작위 가중치 편향에 대한 SNN의 강건성을 검증하는 것.
• 기존 구현보다 90% 높은 에너지 효율성을 달성하는 단계 도메인 신호 처리 회로를 설계하는 것.

제안 방법

• SNN은 정보를 스파이크의 시기적 배열에 코딩하는 시계열 코딩을 사용하며, 스파이크 빈도나 인구 코딩이 아닌 방식이다.
• 스파이크 웨이브폼 동역학에 대한 폐쇄형 해법을 유도하여, 반복 최적화가 필요 없이 DNN와 유사한 백프로파게이션 유사 훈련이 가능하다.
• 폐쇄형 동역학을 사용하여 CIFAR10과 ImageNet에서 표준 백프로파게이션을 통해 직접 훈련함으로써 복잡한 대체 기울기 방법을 피한다.
• 가중치 양자화를 8비트, 4비트, 2비트로 훈련 및 추론 중 적용하여 저정밀도 제약 조건 하에서의 강건성 테스트를 수행한다.
• 훈련 중에 네트워크 가중치에 무작위 노이즈를 주입하여 하드웨어 비이상성의 영향을 시뮬레이션하고 강건성을 향상시킨다.
• 스파이크 뉴런을 구현하기 위해 단계 도메인 신호 처리 회로를 설계하여 기존 구현 대비 90% 높은 에너지 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 스파이크 동역학에 대한 폐쇄형 해법을 사용하여 대체 기울기 방법에 의존하지 않고도 깊이 있는 SNN을 직접적으로 쉽게 훈련시킬 수 있는가?
• RQ2 시계열 코딩 SNN이 CIFAR10과 ImageNet에서 동일한 아키텍처의 DNN와 얼마나 정확도가 유사한가?
• RQ3 극한의 가중치 양자화(8비트, 4비트, 2비트) 및 무작위 가중치 편향에 대해 SNN의 강건성은 어느 정도인가?
• RQ4 제안된 SNN은 측정 가능한 에너지 효율 향상이 있는 뉴로모픽 하드웨어에서 효율적으로 구현될 수 있는가?
• RQ5 기존 구현 대비 제안된 단계 도메인 회로의 에너지 효율 향상은 어느 정도인가?

주요 결과

• 제안된 SNN은 CIFAR10과 ImageNet 양쪽 모두에서 동등한 DNN와의 테스트 정확도가 1% 이내로, 거의 DNN 수준의 성능을 달성한다.
• 2비트 가중치 양자화 조건에서도 높은 정확도를 유지하여 저정밀도 배포에 대한 강건성을 입증한다.
• 무작위 가중치 편향에 대한 저항성을 보이며, 뉴로모픽 하드웨어에 대한 실용적 타당성을 확인한다.
• 단계 도메인 회로 구현은 기존 SNN 하드웨어 설계 대비 90% 높은 에너지 효율성을 달성한다.
• 폐쇄형 해법은 깊이 있는 SNN의 직접적 종단 간 훈련을 가능하게 하여 복잡한 대체 기울기 최적화의 필요성을 제거한다.