[논문 리뷰] A Faster Approach to Spiking Deep Convolutional Neural Networks

Shahriar Rezghi Shirsavar, Mohammad‐Reza A. Dehaqani|arXiv (Cornell University)|2022. 10. 31.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 단일 학습 반복, 주성분 분석(PCA) 기반 차원 축소, 이진 가중치로의 가중치 양자화, 분류를 위한 시간 기반 출력, 그리고 RGB 이미지용 향상된 전처리를 통합하여 더 빠르고 정확한 스파iking 딥 컨volution 신경망(SNN)을 제안한다. 이 방법은 MNIST에서 99.421% ± 0.033의 정확도를 달성하고 ETH-80에서 ResNet을 능가하며 생물학적 타당성을 유지하면서도 빠른 속도와 높은 정확도 향상을 입증한다.

ABSTRACT

Spiking neural networks (SNNs) have closer dynamics to the brain than current deep neural networks. Their low power consumption and sample efficiency make these networks interesting. Recently, several deep convolutional spiking neural networks have been proposed. These networks aim to increase biological plausibility while creating powerful tools to be applied to machine learning tasks. Here, we suggest a network structure based on previous work to improve network runtime and accuracy. Improvements to the network include reducing training iterations to only once, effectively using principal component analysis (PCA) dimension reduction, weight quantization, timed outputs for classification, and better hyperparameter tuning. Furthermore, the preprocessing step is changed to allow the processing of colored images instead of only black and white to improve accuracy. The proposed structure fractionalizes runtime and introduces an efficient approach to deep convolutional SNNs.

연구 동기 및 목표

• 스파iking 신경망(SNN)과 딥 신경망(DNN) 간의 정확도 및 속도 격차를 좁히기 위해 런타임과 성능을 향상시키는 것.
• 생물학적으로 유사한 학습 규칙과 코딩 방식을 통해 SNN의 높은 정확도를 유지하면서 생물학적 타당성을 향상시키는 것.
• 이진 가중치와 스파이크 기반 계산을 통해 뉴로모픽 하드웨어에 효율적으로 구현 가능한 방법을 제공하는 것.
• 기존의 회색조 전용 접근 방식을 초월하여 색상 이미지 처리로 SNN의 정확도를 향상시키는 것.
• 학습을 단일 반복으로 제한하여 학습 복잡성을 줄이고 계산 효율성을 향상시키는 것.

제안 방법

• 입력 신호의 시간적 인코딩을 위해 유도성 적분-화염(LIF) 뉴런과 순서 기반 코딩을 사용한다.
• 스파이크 시기 의존 학습(STDP)을 적용하여 컨볼루션 계층에서 비지도, 생물학적으로 타당한 학습을 수행한다.
• 학습 속도 향상과 계산 부담 감소를 위해 주성분 분석(PCA)을 사용하여 차원 축소를 수행한다.
• 시냅스 가중치를 이진 값(±1)으로 양자화하여 메모리 사용 효율성과 빠른 이진 곱셈을 가능하게 한다.
• 시간 기반 출력 분류를 적용하여, 가장 높은 스파이크 수 또는 가장 이른 발화 시간을 가진 뉴런이 클래스를 결정한다.
• RGB 이미지를 지원하기 위해 색상 공간을 HSV로 변환하여 입력 전처리를 향상시켜 특징 표현과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 학습 반복 SNN이 최신 DNN 수준의 정확도를 달성하면서도 생물학적 타당성을 유지할 수 있는가?
• RQ2 PCA 기반 차원 축소는 깊이 있는 SNN의 런타임과 정확도에 어떤 영향을 미치는가?
• RQ3 HSV 변환을 통한 RGB 이미지 처리가 기준 데이터셋에서 SNN 성능을 얼마나 향상시키는가?
• RQ4 이진 가중치와 스파이크 기반 계산은 뉴로모픽 하드웨어에서 더 빠른 추론과 낮은 에너지 소비를 가능하게 하는가?
• RQ5 제안된 SNN은 ETH-80 데이터셋에서 ResNet과 정확도 및 런타임 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 SNN은 단일 학습 반복과 RBF 커널을 사용한 SVM를 통해 MNIST 데이터셋에서 99.421% ± 0.033의 정확도를 달성한다.
• ETH-80 데이터셋에서 HSV 전처리를 적용한 SNN은 90.166%의 정확도를 기록하여 기준 ResNet-50(86.585%)보다 뚜렷이 뛰어나다.
• LoG 필터링 대신 ZCA 화이트닝을 사용할 경우, 샘플당 총 런타임이 7.447–11.886ms 감소하지만 정확도는 유사하게 유지된다.
• ETH-80에서 회색조 이미지 대비 RGB(예: HSV) 이미지를 사용할 경우 정확도가 6.402% 향상되어 72.378%에서 78.780%로 상승한다.
• LoG와 ZCA 화이트닝 간 정확도 차이에 대한 95% 신뢰구간은 [-0.841, 2.108]이며, ZCA를 사용해도 정확도가 유의미하게 떨어지지 않음을 시사한다.
• 네트워크 성능는 정밀하게 튜닝된 ResNet-50와 유사하며, 정확도와 런타임 모두 유의미한 차이가 없음을 확인했다(95% 신뢰구간: [-1.83, 5.874] 및 [-1.665, 1.665] respectively).