[논문 리뷰] ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks

Jiangrong Shen, Qi Xu외 4명|arXiv (Cornell University)|2023. 06. 06.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 생물학적으로 영감을 얻은 진화적 구조 학습 프레임워크인 ESL-SNNs를 제안하며, 훈련 중에 동적으로 시냅스 연결을 제거하고 재생성함으로써 스파iking 신경망(SNN)의 스퍼스 훈련을 처음부터 가능하게 한다. 이 방법은 성능 저하가 극히 적은 상태(10% 연결 밀도에서 정확도 감소 0.28%)로 최고 수준의 정확도를 달성하면서 메모리와 에너지 소비를 크게 줄여, 스퍼스 훈련과 밀도 훈련 사이의 표현력 격차를 해소한다.

ABSTRACT

Spiking neural networks (SNNs) have manifested remarkable advantages in power consumption and event-driven property during the inference process. To take full advantage of low power consumption and improve the efficiency of these models further, the pruning methods have been explored to find sparse SNNs without redundancy connections after training. However, parameter redundancy still hinders the efficiency of SNNs during training. In the human brain, the rewiring process of neural networks is highly dynamic, while synaptic connections maintain relatively sparse during brain development. Inspired by this, here we propose an efficient evolutionary structure learning (ESL) framework for SNNs, named ESL-SNNs, to implement the sparse SNN training from scratch. The pruning and regeneration of synaptic connections in SNNs evolve dynamically during learning, yet keep the structural sparsity at a certain level. As a result, the ESL-SNNs can search for optimal sparse connectivity by exploring all possible parameters across time. Our experiments show that the proposed ESL-SNNs framework is able to learn SNNs with sparse structures effectively while reducing the limited accuracy. The ESL-SNNs achieve merely 0.28% accuracy loss with 10% connection density on the DVS-Cifar10 dataset. Our work presents a brand-new approach for sparse training of SNNs from scratch with biologically plausible evolutionary mechanisms, closing the gap in the expressibility between sparse training and dense training. Hence, it has great potential for SNN lightweight training and inference with low power consumption and small memory usage.

연구 동기 및 목표

• 매개변수 중복으로 인해 SNN 훈련 시 높은 에너지 소비와 메모리 사용이 발생하는 문제를 해결하기 위해.
• 진정한 스퍼스 훈련을 가능하게 하는 생물학적으로 타당한 스퍼스 구조 학습 프레임워크를 개발하기 위해(밀도 모델에서의 미세조정이 아닌 초기화 단계부터의 훈련).
• 시간에 따라 시냅스 연결을 동적으로 탐색함으로써 스퍼스 SNN 훈련의 표현력을 향상시키기 위해.
• 초기화 단계부터 구조적 스퍼시티를 유지함으로써 훈련 및 추론 동안 에너지와 메모리 오버헤드를 줄이기 위해.
• 진화적 연결 최적화를 통해 스퍼스와 밀도 SNN 훈련 간의 성능 격차를 해소하기 위해.

제안 방법

• ESL-SNNs 프레임워크는 고정된 연결 확률을 가진 에르되시-레니 랜덤 그래프를 사용해 SNN을 초기화하여 스퍼스 기반선을 설정한다.
• 훈련 중에 T_iter 반복마다 정해진 제거 및 성장 규칙에 따라 시냅스 연결이 동적으로 제거되고 재생성되며, 목표 구조적 스퍼시티 수준을 유지한다.
• 각 훈련 반복에서 시냅스 가중치는 전역 학습 규칙에 의해 업데이트되며, 구조적 변화는 뇌의 시냅스 재구성에 영감을 받은 진화적 메커니즘을 통해 별도로 발생한다.
• 프레임워크는 SET 제거 및 모멘텀 기반 성장과 같은 다양한 성장 및 제거 규칙을 지원하여 최적의 스퍼스 연결성을 진화시키는 데 도움을 준다.
• 이 방법은 밀도 아키텍처에서의 사전 훈련이 필요 없이, 초기화 단계부터 스퍼스 구조를 가진 SNN의 엔드 투 엔드 훈련을 가능하게 한다.
• 프레임워크는 피드포워드 및 컨volutional 네트워크를 포함한 다양한 SNN 아키텍처와 호환되며, 다양한 연결 밀도 수준을 지원한다.

실험 결과

연구 질문

• RQ1 뇌의 시냅스 재구성과 유사한 생물학적으로 타당한 진화적 메커니즘을 사용해 스퍼스 SNN 훈련을 처음부터 달성할 수 있는가?
• RQ2 훈련 중 시냅스 연결의 동적 제거 및 재생성은 최종 모델의 정확도와 스퍼시티 수준에 어떤 영향을 미치는가?
• RQ3 다양한 제거 및 성장 규칙은 스퍼스 SNN 훈련의 안정성과 표현력에 어떤 영향을 미치는가?
• RQ4 ESL-SNNs는 밀도 SNN과 비교해 매개변수 수와 에너지 소비를 얼마나 줄일 수 있으며, 경쟁 가능한 정확도를 유지할 수 있는가?
• RQ5 제안된 프레임워크는 표현력 측면에서 스퍼스와 밀도 SNN 훈련 간의 성능 격차를 해소할 수 있는가?

주요 결과

• DVS-Cifar10 데이터셋에서 ESL-SNNs는 10% 연결 밀도에서 정확도 손실 0.28%로 매우 높은 효율성과 극히 낮은 성능 저하를 보였다.
• 50% 연결 밀도에서 ESL-SNNs는 Cifar10에서 91.09%의 정확도, Cifar100에서 73.48%의 정확도를 기록했으며, 약 628만 개의 매개변수를 사용해 복잡도를 줄였다.
• SET 제거와 모멘텀 기반 성장 규칙을 적용한 모델은 다양한 밀도 수준에서 가장 안정적인 성능을 보였으며, 1% 밀도에서도 높은 정확도를 유지했고(정확도 손실 14.08%), 높은 정확도를 기록했다.
• 프레임워크는 초기화 단계부터 스퍼스 훈련을 가능하게 하여, 밀도 SNN과 비교해 훈련 및 추론 시 메모리 사용과 에너지 소비를 크게 줄였다.
• ESL-SNNs는 TET 및 LIAF-Net과 같은 최고 수준의 모델보다 더 적은 연결 수로 DVS-Cifar10에서 78.3%의 높은 테스트 정확도를 기록하거나 이를 능가했다.
• 시냅스 연결의 동적 진화는 효과적인 매개변수 공간 탐색을 가능하게 하여 스퍼스 훈련의 표현력을 향상시키고, 온칩 학습 잠재력을 제공한다.