[논문 리뷰] Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning

Yaxin Li, Qi Xu외 4명|arXiv (Cornell University)|2024. 06. 03.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

이 논문은 Spiking Channel Activity-based (SCA) 네트워크 가지치기 방식으로 SNN을 위한 체계적이고 활동 guided 가지치기와 재성장을 제시합니다. 가중치와 토폴로지를 함께 학습하여 경량화되고 하드웨어 친화적인 모델을 최소한의 정확도 손실로 얻는 프레임워크를 제공합니다.

ABSTRACT

The emergence of deep and large-scale spiking neural networks (SNNs) exhibiting high performance across diverse complex datasets has led to a need for compressing network models due to the presence of a significant number of redundant structural units, aiming to more effectively leverage their low-power consumption and biological interpretability advantages. Currently, most model compression techniques for SNNs are based on unstructured pruning of individual connections, which requires specific hardware support. Hence, we propose a structured pruning approach based on the activity levels of convolutional kernels named Spiking Channel Activity-based (SCA) network pruning framework. Inspired by synaptic plasticity mechanisms, our method dynamically adjusts the network's structure by pruning and regenerating convolutional kernels during training, enhancing the model's adaptation to the current target task. While maintaining model performance, this approach refines the network architecture, ultimately reducing computational load and accelerating the inference process. This indicates that structured dynamic sparse learning methods can better facilitate the application of deep SNNs in low-power and high-efficiency scenarios.

연구 동기 및 목표

• SNN에서 하드웨어 효율 및 에너지 절감을 이용하기 위한 구조적 희소성 필요성의 동기를 부여한다.
• 채널 수준의 스파이크 활동에 의해 안내되는 동적 가지치기–재성장 프레임워크(SCA)를 제안한다.
• 학습 중 가중치와 네트워크 구조를 공동 학습하여 성능을 저해하지 않으면서 경량 아키텍처를 식별한다.
• CIFAR-10, CIFAR-100 및 DVS-CIFAR10 데이터셋에서 SNN에 적합하도록 일반적인 CNN 백본을 변형하여 효과를 시연한다.

제안 방법

• Spiking Channel Activity-based (SCA) 프레임워크를 도입하여 채널 스파이킹 활동에 기반하여 컨볼루션 커널을 가지치기하고 재성장한다.
• 훈련 샘플과 시간 단계 전반에 걸친 평균 막전(L1 노름)을 사용하여 채널 중요도를 계산한다.
• 구조를 기록하는 마스크를 사용하여 일부 채널을 가지치고(iteration당 p%의 채널) 재성장하여 희소성을 유지하고 가중치 학습 중 L1 정규화를 적용한다.
• BatchNorm에서 유망한 채널을 재활성화하기 위한 gamma-gradient 기반 선택적 성장(gamma-gradient-based selective growth)을 적용한다.
• 비분화 가능한 스파이크를 다루기 위해 대리 도함수를 사용하고 학습 중 반복적인 가지치기/재성장을 수행한다.
• SCA가 다양한 CNN 아키텍처(VGG, ResNet, PreResNet 등)를 스파이킹 형태로 적용 가능함을 시연한다.

실험 결과

연구 질문

• RQ1 스파이킹 활동에 의해 안내되는 채널 수준의 구조적 가지치기가 큰 정확도 손실 없이 SNN의 모델 압축에 상당한 효과를 낼 수 있는가?
• RQ2 학습 중 가지치기와 재성장이 가지치기만 또는 임의 가지치기에 비해 대상 작업에 적응하는 데 더 나은가?
• RQ3 SCA 접근법이 데이터셋 전반에 걸쳐 매개변수 수와 시냅스 연산(SynOps)과 같은 하드웨어 관련 지표에 어떤 영향을 미치는가?
• RQ4 SCA 프레임워크가 사전 활성화(pre-activation) 및 사후 활성화(post-activation) 등 다양한 컨볼루션형 SNN 아키텍처에 광범위하게 적용 가능한가?

주요 결과

• SCA는 원래의 정확도에 근접한 성능을 유지하면서 가지치기 비율이 증가함에 따라 매개변수를 크게 줄임(예: CIFAR-10 VGG16의 경우 약 10% 매개변수 수에서 정확도가 약 1% 이내로 유지).
• CIFAR-10, CIFAR-100, DVS-CIFAR10에서 상당한 매개변수 축소가 달성되었으며 일부 설정에서 정확도가 보합 또는 소폭 증가하는 경우도 있음(예: CIFAR-10: 약 30% 매개변수 감소와 0% ~ +0.53% 정확도 변화; CIFAR-100: 약 16.47% 매개변수 감소와 +0.64% 정확도 변화).
• 시냅스 연산(SynOps)은 채널 가지치기가 큰 경우 감소하여 계산 비용과 에너지 사용이 감소하였음; 예를 들어 CIFAR-10 SNNVGG16에서 더 높은 가지치기에서 SynOps가 현저히 감소함.
• 폐쇄적 연구에서 가지치기-재성장이 가지치기만 또는 임의 가지치기보다 성능을 우수하게 만들며 CIFAR-10 SNNVGG16에서 높은 가지치기(0.8)에서도 약 2%의 정확도 감소만 발생.
• 다른 SNN 가지치기 방법과 비교하여 SCA는 대체로 경쟁력 있는 또는 더 나은 정확도를 달성하면서도 합리적으로 하드웨어 친화적인 구조적 가지치기(특히 컨볼루션 채널에 초점)를 수행한다.
• 프레임워크는 해석 가능한 구조적 적응을 보여주며, 더 깊은 계층이 더 많은 채널을 잃는 경향이 있고 학습 역학이 구조적 안정화를 향해 지속적으로 진화함을 나타낸다.