[논문 리뷰] DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks

Nitin Rathi, Kaushik Roy|arXiv (Cornell University)|2020. 08. 09.

Advanced Memory and Neural Computing참고 문헌 45인용 수 91

한 줄 요약

DIET-SNN은 직접 입력 인코딩과 학습 가능한 막(Leak) 누출 및 발화 임계값을 사용하는 심층 스파이크 신경망을 학습시켜 6-18배 더 낮은 계산 에너지와 5 타임스텝의 지연으로 ANN과 유사한 정확도를 달성한다.

ABSTRACT

Bio-inspired spiking neural networks (SNNs), operating with asynchronous binary signals (or spikes) distributed over time, can potentially lead to greater computational efficiency on event-driven hardware. The state-of-the-art SNNs suffer from high inference latency, resulting from inefficient input encoding, and sub-optimal settings of the neuron parameters (firing threshold, and membrane leak). We propose DIET-SNN, a low-latency deep spiking network that is trained with gradient descent to optimize the membrane leak and the firing threshold along with other network parameters (weights). The membrane leak and threshold for each layer of the SNN are optimized with end-to-end backpropagation to achieve competitive accuracy at reduced latency. The analog pixel values of an image are directly applied to the input layer of DIET-SNN without the need to convert to spike-train. The first convolutional layer is trained to convert inputs into spikes where leaky-integrate-and-fire (LIF) neurons integrate the weighted inputs and generate an output spike when the membrane potential crosses the trained firing threshold. The trained membrane leak controls the flow of input information and attenuates irrelevant inputs to increase the activation sparsity in the convolutional and dense layers of the network. The reduced latency combined with high activation sparsity provides large improvements in computational efficiency. We evaluate DIET-SNN on image classification tasks from CIFAR and ImageNet datasets on VGG and ResNet architectures. We achieve top-1 accuracy of 69% with 5 timesteps (inference latency) on the ImageNet dataset with 12x less compute energy than an equivalent standard ANN. Additionally, DIET-SNN performs 20-500x faster inference compared to other state-of-the-art SNN models.

연구 동기 및 목표

• 에너지 효율적이고 저지연의 뉴로모픽 추론을 SNN을 이용하여 구현하는 데 동기를 부여한다.
• 가중치, 막 누출, 발화 임계값을 레이어 전체에 걸쳐 함께 최적화하기 위한 경사 기반 방법을 개발한다.
• 직접 입력 인코딩을 사용하고 첫 번째 층이 스파이크를 생성하도록 하여 입력 인코딩 오버헤드를 제거한다.
• CIFAR 및 ImageNet에서 타임스텝과 에너지를 크게 줄이면서도 경쟁력 있는 정확도를 입증한다.

제안 방법

• 픽셀 값이 입력층으로 직접 입력되는 직접 입력 인코딩을 사용한다.
• 계층 간 공유 누출 및 임계값 매개변수를 갖는 Leaky Integrate-and-Fire(LIF) 뉴런을 사용한다.
• 역전파로 가중치, 누출, 임계값을 최적화하기 위해 엔드-투-엔드로 네트워크를 학습한다(스파이크에 대한 대리 그래디언트 사용).
• 변환에서 계층별 99.7 분위수 임계값 선정을 이용하여 ANN-SNN 변환에서 초기화한 뒤, 스파이크 기반 학습으로 미세 조정한다.
• 출력, 은닉 계층 및 매개변수에 대한 그래디언트를 BPTT 및 대리 그래디언트를 사용하여 유도한다(식 1–15).
• CIFAR 및 ImageNet 데이터셋에서 VGG와 ResNet 아키텍처를 대상으로 평가하고, 지연 시간과 에너지를 기존의 SNN/ANN과 비교한다.

실험 결과

연구 질문

• RQ1 전 레이어에서 막 누출과 발화 임계값을 공동으로 학습시키면 추론 지연을 줄이면서 정확도를 유지할 수 있는가?
• RQ2 직접 입력 인코딩과 함께 학습 가능한 첫 번째 층 스파이크 생성기가 활성화 희소성 및 에너지 효율을 향상시키는가?
• RQ3 DIET-SNN이 CIFAR와 ImageNet에서 정확도, 타임스텝 및 계산 에너지 면에서 최첨단 SNN 및 ANN과 비교하면 어떤가?
• RQ4 깊은 네트워크에서 누출/임계값 최적화의 계층별 에너지 및 스파이크 속도 영향은 무엇인가?

주요 결과

• DIET-SNN은 CIFAR 및 ImageNet에서 5 타임스텝만으로 ANN 기반선과 유사한 Top-1 정확도를 달성한다.
• 가중치, 누출, 임계값의 공동 최적화는 이전 SNN 대비 상당한 지연/에너지 이점을 제공한다( ANN 대비 6–18× 에너지 감소; 다른 SNN 대비 20–500× 더 빠른 추론).
• 직접 입력 인코딩과 학습된 스파이크 생성기 첫 번째 층은 입력 인코딩 오버헤드를 제거하고 더 깊은 계층에서 높은 활성화 희소성을 가능하게 한다.
• 누출은 불필요한 발화를 줄이고 임계값 최적화는 스파이크 생성을 가속화하여 스파이크 속도를 훨씬 낮게 만든다(예: CIFAR의 VGG16에서 평균 스파이크 속도 약 1.6; 5 타임스텝).
• 이 접근법은 5 타임스텝으로 ImageNet에서 69% Top-1을 달성하고 동등한 ANN에 비해 에너지가 크게 낮다.