[논문 리뷰] Spiking Deep Residual Network

Yangfan Hu, Huajin Tang외 1명|arXiv (Cornell University)|2018. 04. 28.

Advanced Memory and Neural Computing참고 문헌 51인용 수 75

한 줄 요약

이 논문은 학습된 깊은 ResNet을 Spiking ResNet (S-ResNet)이라 불리는 스파이킹 신경망으로 변환하기 위해 shortcut-정규화 변환 모델과 오차 보상 메커니즘을 사용하여 CIFAR-10/100 및 ImageNet에서 깊은 SNN의 경쟁력 있는 정확도를 가능하게 한다.

ABSTRACT

Spiking neural networks (SNNs) have received significant attention for their biological plausibility. SNNs theoretically have at least the same computational power as traditional artificial neural networks (ANNs). They possess potential of achieving energy-efficiency while keeping comparable performance to deep neural networks (DNNs). However, it is still a big challenge to train a very deep SNN. In this paper, we propose an efficient approach to build a spiking version of deep residual network (ResNet). ResNet is considered as a kind of the state-of-the-art convolutional neural networks (CNNs). We employ the idea of converting a trained ResNet to a network of spiking neurons, named Spiking ResNet (S-ResNet). We propose a shortcut conversion model to appropriately scale continuous-valued activations to match firing rates in SNN, and a compensation mechanism to reduce the error caused by discretisation. Experimental results demonstrate that, compared with the state-of-the-art SNN approaches, the proposed Spiking ResNet achieves the best performance on CIFAR-10, CIFAR-100, and ImageNet 2012. Our work is the first time to build a SNN deeper than 40, with comparable performance to ANNs on a large-scale dataset.

연구 동기 및 목표

• 최신 CNN 아키텍처(ResNet)를 SNN으로 변환하여 아주 깊은 스파이킹 신경망의 학습을 유도하고 가능하게 한다.
• S-ResNet에서 shortcut 가중치를 정규화하여 스파이킹 발화율과 활성화를 맞추는 shortcut-aware 변환 모델을 개발한다.
• 离离 discretization에서 발생하는 전달 오차를 보상하여 깊은 SNN의 정확도를 보존한다.
• CIFAR-10, CIFAR-100, ImageNet에서 기존의 깊은 SNN 접근법 대비 성능 향상을 시연한다.
• 잠재적인 뉴로모픽 하드웨어 구현과 기존 ANN 하드웨어를 비교하여 에너지 효율성의 함의를 제시한다.

제안 방법

• 사전 학습된 ResNet을 ReLU 층을 integrate-and-fire 뉴런으로 교체하고 합성곱, 풀링, 완전연결 연산을 시냅스 연결로 매핑하여 스파이킹 대응체로 변환한다.
• 잼제품 shortcut(잔차) 정규화 모델을 적용하여 잔차 블록의 firing rates가 정규화된 활성화와 일치하도록 shortcut 가중치를 스케일링한다.
• 레이어 활성화에서 도출된 정규화 인자를 이용해 잔차 블록의 가중치와 바이어스를 스케일링하여 활성화/발화율 범위를 일정하게 유지한다(Equations 1–2).
• 잔차 블록별 정규화를 도입해 shortcut 경로가 max_in/max_out으로 스케일되도록 보장한다(Equations 4–6).
• ANN 활성화와 SNN 발화율 간의 전달 오차 E_i(t)를 모델링하고 양자화된 깊이에 따른 오차 증가를 설명하는 지수 깊이 모델 Ē_i = p·q^l을 제시한다(Equation 12).
• 학습 데이터 스윕 중 가중치를 조정하고 축적된 전달 오차를 상쇄하기 위한 간단한 보상 요소 ζ를 도입한다(Equation 14).

실험 결과

연구 질문

• RQ1 ResNet을 깊은 스파이킹 네트워크로 효과적으로 변환해도 정확도 손실이 크지 않을까?
• RQ2 잔차 블록의 shortcut 연결을 정규화하면 변환 품질과 최종 S-ResNet 성능이 향상될까?
• RQ3 전달/양자화 오차가 깊은 SNN에 미치는 영향은 무엇이며 간단한 보상 체계로 완화할 수 있을까?
• RQ4 ImageNet과 같은 대규모 데이터셋에서 Spiking ResNet의 깊이는 어느 정도까지 유지되면서 경쟁력 있는 성능을 보일까?
• RQ5 제안된 Spiking ResNet은 기존의 깊은 SNN과 비교해 정확도와 에너지 효율성 면에서 어떤 차이가 있을까?

주요 결과

• shortcut 정규화를 적용한 S-ResNet은 깊이에 따라 unnormalized 변환보다 오차률이 현저히 낮다(예: CIFAR-10 깊이 20–56).
• 오류 보상은 ResNet 유래 S-ResNet과 일반 CNN 모두의 성능을 향상시키며, 더 깊은 네트워크일수록 보상으로부터 더 큰 이득을 얻는다.
• ImageNet 2012에서 Spiking ResNet-50의 top-1 오차 27.25% 및 top-5 오차 9.03%, 각각의 오차 손실은 2.69% 및 1.52%이다.
• 제안된 접근법은 CIFAR-10, CIFAR-100, ImageNet에서 기존의 깊은 SNN보다 우수한 성능을 달성하여 40층을 넘는 깊은 SNN도 ANN 스타일의 정확도에 근접하게 가능하게 한다.
• 에너지 추정에 따르면 FPGA(Stratix 10 TX)에서의 ResNet 구현은 뉴로모픽 하드웨어(ROLLS)에서 실행되는 S-ResNet보다 9배 이상 전력 소모가 크며, SNN의 에너지 이점 가능성을 시사한다.