[논문 리뷰] Towards Scalable, Efficient and Accurate Deep Spiking Neural Networks with Backward Residual Connections, Stochastic Softmax and Hybridization

Priyadarshini Panda, Aparna Aketi외 1명|arXiv (Cornell University)|2019. 10. 30.

Advanced Memory and Neural Computing참고 문헌 40인용 수 6

한 줄 요약

이 논문은 깊이 있는 스파iking 신경망(SNNs)의 확장성, 효율성, 정확도를 향상시키기 위해 백워드 잔차 연결, 스토하스틱 소프트맥스, 하이브리드 인공-스파이킹 신경망 아키텍처를 제안한다. 공유된 계산을 통해 논리적으로 깊은 SNN을 구현하고, 스파이크 활동을 줄이며, ReLU와 LIF 뉴런을 조합함으로써, CIFAR10과 ImageNet에서 상태최근 기준에 근접한 정확도를 달성하면서도 기존의 ANN에 비해 최대 100배의 에너지 효율성 향상을 이룬다. 이는 낮은 지연 시간을 유지하면서도 달성된다.

ABSTRACT

Spiking Neural Networks (SNNs) may offer an energy-efficient alternative for implementing deep learning applications. In recent years, there have been several proposals focused on supervised (conversion, spike-based gradient descent) and unsupervised (spike timing dependent plasticity) training methods to improve the accuracy of SNNs on large-scale tasks. However, each of these methods suffer from scalability, latency and accuracy limitations. In this paper, we propose novel algorithmic techniques of modifying the SNN configuration with backward residual connections, stochastic softmax and hybrid artificial-and-spiking neuronal activations to improve the learning ability of the training methodologies to yield competitive accuracy, while, yielding large efficiency gains over their artificial counterparts. Note, artificial counterparts refer to conventional deep learning/artificial neural networks. Our techniques apply to VGG/Residual architectures, and are compatible with all forms of training methodologies. Our analysis reveals that the proposed solutions yield near state-of-the-art accuracy with significant energy-efficiency and reduced parameter overhead translating to hardware improvements on complex visual recognition tasks, such as, CIFAR10, Imagenet datatsets.

연구 동기 및 목표

• 변환, 근사 기울기 하강(AGD), STDP와 같은 기존 SNN 학습 방법의 확장성, 지연 시간, 정확도 제한을 해결하기 위해.
• 더 깊은 층에서의 스파이크 전파 감쇠 문제를 완화함으로써 깊은 SNN에서의 학습 안정성과 성능을 향상시키기 위해.
• 파rameter 수나 계산 오버헤드를 늘리지 않고도 에너지 효율성과 정확도를 향상시키기 위해.
• 인공 뉴런과 스파이킹 뉴런의 장점을 활용하여 복잡한 시각 작업에서 성능을 향상시키기 위한 하이브리드 SNN-ANN 아키텍처를 가능하게 하기 위해.
• 모든 주요 SNN 학습 파라디그마에서 아키텍처 수정이 상당한 효율성 및 정확도 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• 반복적인 방식으로 층을 펼쳐 공유 가중치와 함께 더 깊은 논리적 깊이를 가능하게 하는 백워드 잔차(BackRes) 연결을 도입한다.
• AGD 학습 중 예측 정확도를 향상시키고 스파이크 활동을 줄이기 위해 최종 층에서 스토하스틱 소프트맥스(stochmax)를 사용한다.
• ReLU(ANN 유사)와 LIF(SNN 유사) 활성화 함수를 번갈아가며 사용하는 하이브리드 네트워크를 설계하여 STDP 및 AGD 학습에서 학습 동역학과 정확도를 향상시킨다.
• 레이트 코딩을 사용해 실수값 이미지를 포isson 분포 스파이크 트레인으로 변환함으로써 이벤트 기반 처리와 저전력 운영을 가능하게 한다.
• VGG와 ResNet 유사 아키텍처에 BackRes 메커니즘을 적용하여 전체 깊이 없이도 깊은 SNN의 효율적 학습을 가능하게 한다.
• 스토하스틱 소프트맥스를 사용해 AGD 학습된 SNN에서 엔드 투 엔드 백프로파게이션을 구현함으로써 스파이크 활동을 감소시키고 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 백워드 잔차 연결이 깊은 SNN에서 스파이크 전파 감쇠 문제를 완화하고 학습 안정성을 향상시킬 수 있는가?
• RQ2 스토하스틱 소프트맥스는 기존 소프트맥스에 비해 AGD 학습된 SNN에서 예측 정확도와 에너지 효율성을 향상시키는가?
• RQ3 하이브리드 SNN-ANN 아키텍처는 순수하게 스파이킹 또는 인공 네트워크보다 더 높은 정확도와 낮은 지연 시간을 달성할 수 있는가?
• RQ4 이러한 아키텍처 수정이 다양한 SNN 학습 방법에서 에너지 효율성과 확장성 향상에 얼마나 기여하는가?
• RQ5 하이브리드 SNN는 ImageNet과 같은 대규모 데이터셋에서 ANN과 동일한 정확도를 달성하면서도 에너지 소비를 줄일 수 있는가?

주요 결과

• 백워드 잔차 연결은 네트워크 활동의 희박화 덕분에 등가의 완전히 깊은 SNN에 비해 에너지 소비를 1.8–3.5배 감소시킨다.
• 스토하스틱 소프트맥스는 SNN에서 AGD 학습 정확도를 2–3% 향상시키고, 기존 소프트맥스에 비해 에너지 효율성을 1.6–2배 향상시킨다.
• 하이브리드 아키텍처는 STDP 및 AGD를 사용해 CIFAR10에서 80–85%의 정확도를 달성하며, 동등한 ANN의 정확도를 충족하거나 초월하고 에너지 효율성에서 4배 향상을 이룬다.
• 제안된 방법들은 VGG13 모델을 ImageNet에서 동등한 정확도로 학습시키며, ANN의 동료 대비 최대 100배의 에너지 효율성 향상을 이룬다.
• BackRes 연결은 최소한의 파라미터 오버헤드로 논리적으로 깊은 SNN을 가능하게 하여, 아키텍처 재설계 없이도 모든 학습 방법에서 확장성을 향상시킨다.
• 하이브리드 SNN-ANN 접근법은 분산형 엣지-클라우드 인퍼런스를 가능하게 하여, SNN 층은 저전력 엣지 장치에서, ANN 층은 클라우드에서 실행된다.