[논문 리뷰] tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks

Rachmad Vidya Wicaksana Putra, Muhammad Shafique|arXiv (Cornell University)|2022. 06. 17.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

tinySNN는 억제성 뉴런 제거, 학습 규칙 향상, 가중치 및 뉴런 파라미터의 혼합 정밀도 양자화를 통해 임베디드 시스템에서 메모리 및 에너지 효율적인 스파iking 신경망(SNNs)을 구현하는 프레임워크이다. 정확도 손실 없이 최대 3.32배 메모리 절감 및 2.9배 에너지 절감을 달성하여 자원이 제한된 장치에서 고정확도 SNN 구현을 가능하게 한다.

ABSTRACT

Larger Spiking Neural Network (SNN) models are typically favorable as they can offer higher accuracy. However, employing such models on the resource- and energy-constrained embedded platforms is inefficient. Towards this, we present a tinySNN framework that optimizes the memory and energy requirements of SNN processing in both the training and inference phases, while keeping the accuracy high. It is achieved by reducing the SNN operations, improving the learning quality, quantizing the SNN parameters, and selecting the appropriate SNN model. Furthermore, our tinySNN quantizes different SNN parameters (i.e., weights and neuron parameters) to maximize the compression while exploring different combinations of quantization schemes, precision levels, and rounding schemes to find the model that provides acceptable accuracy. The experimental results demonstrate that our tinySNN significantly reduces the memory footprint and the energy consumption of SNNs without accuracy loss as compared to the baseline network. Therefore, our tinySNN effectively compresses the given SNN model to achieve high accuracy in a memory- and energy-efficient manner, hence enabling the employment of SNNs for the resource- and energy-constrained embedded applications.

연구 동기 및 목표

• 높은 메모리 및 에너지 요구량으로 인해 대규모 정확도를 가진 SNN을 자원 및 에너지가 제한된 임베디드 플랫폼에 배포하는 데 도전하는 문제를 해결한다.
• 정확도, 메모리, 에너지 효율성 간의 상충 관계를 악용하는 기존 SNN 최적화 기법의 한계를 극복한다.
• 모든 단계에서 계산 및 메모리 오버헤드를 최소화하여 효율적인 온라인 학습 및 추론을 가능하게 한다.
• 정확도, 메모리, 에너지 제약을 균형 잡는 데 목적이 있는 보상 기반 최적화를 사용한 모델 선택 메커니즘을 개발한다.
• IoT 및 엣지 디바이스에 적합한 최소한의 메모리 사용량과 에너지 소비로 고정확도 SNN를 달성한다.

제안 방법

• 억제성 뉴런을 직접적인 lateral inhibition으로 대체하여 파라미터 및 연산을 제거함으로써 메모리 및 계산 부담을 감소시킨다.
• STDP 학습 규칙을 향상시켜 불필요한 가중치 갱신을 최소화하고, 운영 감소 후에도 학습 품질을 유지하기 위해 적응형 강화를 도입한다.
• 가중치 및 뉴런 파라미터에 대해 혼합 정밀도 양자화를 적용하며, 다양한 양자화 체계, 정밀도 수준(4비트에서 32비트까지) 및 반올림 방법(예: 절삭)을 탐색한다.
• 메모리-정확도-에너지 간 상호보완적 관계를 평가하는 보상 함수를 도입하여, 사용자 정의 제약 조건에 최적의 SNN 모델을 자동으로 선택할 수 있도록 한다.
• GPU 및 Jetson Nano에서 PyTorch 기반 시뮬레이션 환경을 사용하여 MNIST 및 Fashion-MNIST 데이터셋을 대상으로 정확도, 메모리 사용량, 에너지 소비를 평가한다.
• 정확도를 유지하면서 저정밀도 설정에서 성능을 확보할 수 있는 구성 요소를 도출하기 위해 후기 양자화(PTQ) 및 반복적 양자화(ITQ) 체계를 평가한다.

실험 결과

연구 질문

• RQ1 정확도 손실 없이 훈련 및 추론 단계 모두에서 SNN의 메모리 및 에너지 효율성을 어떻게 최적화할 수 있는가?
• RQ2 억제성 뉴런을 제거할 경우 SNN의 정확도 및 에너지 소비에 어떤 영향을 미치는가?
• RQ3 어떤 조합의 양자화 체계, 정밀도 수준 및 반올림 방법이 정확도를 유지하면서도 메모리 및 에너지 소비를 최소화하는가?
• RQ4 모델 선택 프레임워크는 정확도, 메모리 사용량, 에너지 소비를 효과적으로 균형 잡는 데 어떻게 기여하는가?
• RQ5 가중치 및 뉴런 파라미터의 혼합 정밀도 양자화가 SNN 크기 및 에너지 소비를 얼마나 줄일 수 있으며, 성능를 유지할 수 있는가?

주요 결과

• 8비트 이상 정밀도를 사용한 tinySNN는 MNIST 및 Fashion-MNIST 데이터셋에서 기준값인 FP32 SNN 및 SL-STDP(FP32)보다 높은 정확도를 달성한다.
• 프레임워크는 기준값 대비 최대 3.3배(8비트 가중치 기준) 및 3.32배(8비트 가중치 및 뉴런 파라미터 기준)의 SNN 메모리 사용량 감소를 달성한다.
• 8비트 양자화된 버전의 경우 훈련 시 최대 1.9배, 추론 시 최대 2.9배의 에너지 소비 감소를 기록하며, 특히 억제성 뉴런 제거 및 양자화로 인한 성능 향상이 두드러진다.
• 모델 선택 메커니즘은 사용자 정의된 정확도, 메모리, 에너지 간 상호보완적 관계를 기반으로 최적의 SNN 구성 요소를 성공적으로 식별하며, μ 값이 높을수록 더 작은 크기이자 저정밀도 모델을 선호한다.
• 직접적인 lateral inhibition과 향상된 학습 규칙의 조합은 운영 수를 감소시켜도 정확도를 유지하거나 향상시키며, 아키텍처 단순화의 효과를 입증한다.
• 가중치뿐 아니라 뉴런 파라미터까지 양자화하면 가중치 전용 양자화보다 추가적인 메모리 및 에너지 절감 효과를 얻을 수 있으며, 정밀도가 8비트 이상일 경우 정확도 저하가 최소한이 된다.