[논문 리뷰] SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments

Rachmad Vidya Wicaksana Putra, Muhammad Shafique|arXiv (Cornell University)|2021. 02. 28.

Advanced Memory and Neural Computing참고 문헌 31인용 수 31

한 줄 요약

SpikeDyn는 동적 환경에서 지속적이고 비지도 학습이 가능한 에너지 효율적인 스파iking 신경망(SNN)을 위한 새로운 프레임워크이다. 직접적 인해 억제를 통해 억제성 뉴런을 제거함으로써 학습 및 추론 과정에서 에너지 소비를 감소시키며, 메모리 및 에너지 제약 조건 하에서 분석적 SNN 모델 검색을 수행하고, 동적 임계값과 가중치 감쇠를 갖춘 적응형 학습 알고리즘을 사용한다. 이로 인해 최신 기술 대비 학습 에너지 소비는 51% 감소하고 추론 에너지 소비는 37% 감소하였으며, 최근에 학습된 작업에서 정확도는 21% 향상되었다.

ABSTRACT

Spiking Neural Networks (SNNs) bear the potential of efficient unsupervised and continual learning capabilities because of their biological plausibility, but their complexity still poses a serious research challenge to enable their energy-efficient design for resource-constrained scenarios (like embedded systems, IoT-Edge, etc.). We propose SpikeDyn, a comprehensive framework for energy-efficient SNNs with continual and unsupervised learning capabilities in dynamic environments, for both the training and inference phases. It is achieved through the following multiple diverse mechanisms: 1) reduction of neuronal operations, by replacing the inhibitory neurons with direct lateral inhibitions; 2) a memory- and energy-constrained SNN model search algorithm that employs analytical models to estimate the memory footprint and energy consumption of different candidate SNN models and selects a Pareto-optimal SNN model; and 3) a lightweight continual and unsupervised learning algorithm that employs adaptive learning rates, adaptive membrane threshold potential, weight decay, and reduction of spurious updates. Our experimental results show that, for a network with 400 excitatory neurons, our SpikeDyn reduces the energy consumption on average by 51% for training and by 37% for inference, as compared to the state-of-the-art. Due to the improved learning algorithm, SpikeDyn provides on avg. 21% accuracy improvement over the state-of-the-art, for classifying the most recently learned task, and by 8% on average for the previously learned tasks.

연구 동기 및 목표

• IoT 및 엣지 디바이스와 같은 자원 제약이 있는 동적 환경에서 에너지 효율적인 SNN을 구현하고 지속적이고 비지도 학습을 수행하는 데 도전하는 것.
• 복잡한 아키텍처와 비효율적인 학습 규칙로 인해 높은 에너지 소비, 치명적인 기억 상실, 부적절한 가중치 갱신을 겪는 기존 SNN의 한계를 극복하는 것.
• 엄격한 메모리 및 에너지 제약 조건 하에서도 학습 및 추론 단계를 최적화하면서 순차적으로 학습된 작업들 전반에서 높은 정확도를 유지하는 프레임워크를 설계하는 것.
• 재학습 없이도 이전에 학습한 정보를 상실하지 않고, 새로운 비라벨 데이터에 실시간으로 적응할 수 있도록 하는 것.
• 추정된 메모리 및 에너지 소비를 바탕으로 파레토 최적의 구성 요소를 선택하는 경량의 분석적 최적화 SNN 모델 검색을 개발하는 것.

제안 방법

• 학습 및 추론 과정에서 뉴런 연산과 에너지 소비를 줄이기 위해 전통적인 억제성 뉴런을 직접적 횡방향 억제 연결으로 대체한다.
• 네트워크 파라미터, 비트 정밀도, 입력 처리 에너지, 샘플 수를 사용하여 메모리 용량과 에너지 소비를 추정하는 분석적 SNN 모델 검색 알고리즘을 구현하여 파레토 최적의 모델을 선별한다.
• 적응형 학습률, 동적 막막막 임계값, 가중치 감쇠를 갖춘 경량의 지속적이고 비지도 학습 알고리즘을 도입하여 부적절한 갱신을 줄이고 치명적인 기억 상실을 방지한다.
• 학습 중에 덜 관련성이 높은 뉴런을 선택적으로 비활성화하는 임계값 적응 메커니즘을 적용하여 중요한 이전 정보를 유지한다.
• 동적 학습률 전략을 도입하여 스파이크 활동과 작업 진행 상황에 따라 조정함으로써 수렴성과 정확도를 향상시킨다.
• 온라인 학습 중에 시냅스 가중치를 안정화하고 이전에 학습한 특징의 손상 방지를 위해 가중치 감쇠를 사용한다.

실험 결과

연구 질문

• RQ1 직접적 횡방향 억제가 SNN에서 억제성 뉴런을 대체하여 학습 성능 저하 없이 에너지 소비를 감소시킬 수 있는가?
• RQ2 메모리 및 에너지 제약 조건 하에서 분석적 모델 검색 알고리즘이 어떻게 파레토 최적의 SNN 구성 요소를 효과적으로 식별할 수 있는가?
• RQ3 적응형 학습률, 동적 임계값, 가중치 감쇠가 동적 데이터 스트림 하에서 지속적이고 비지도 SNN 학습의 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 라벨이 없는 데이터를 포함한 온라인 학습 환경에서 치명적인 기억 상실과 부적절한 갱신을 어떻게 완화하는가?
• RQ5 SpikeDyn는 동적 및 비동적 환경 모두에서 최신 기술 대비 에너지 소비와 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• SpikeDyn는 최신 기술 대비 평균적으로 학습 시 51%의 에너지 소비 감소와 추론 시 37%의 에너지 소비 감소를 달성한다.
• 최근에 학습된 작업에 대해 SpikeDyn는 최신 기술 대비 21%의 정확도 향상을 보이며, 특히 순차적 작업 학습이 이루어지는 동적 환경에서 뚜렷한 성능 향상을 보인다.
• 이전에 학습된 작업에 대해 평균적으로 SpikeDyn는 정확도를 8% 향상시키며, 오래된 지식의 효과적인 유지와 치명적인 기억 상실 감소를 입증한다.
• 더 큰 네트워크(N400)에서는 학습 시 최대 66%의 에너지 소비 감소와 추론 시 최대 54%의 에너지 소비 감소를 달성하였으며, Jetson Nano와 같은 임베디드 GPU에서도 뚜렷한 성능 향상을 보였다.
• 혼동 행렬 분석 결과, 숫자 4와 숫자 9는 특징 겹침으로 인해 자주 오분류되나, SpikeDyn는 적응형 임계값과 가중치 감쇠 덕분에 이러한 오류를 줄였다.
• 비동적 환경에서는 스파이크 갱신을 최소화하고 가중치 조정을 최적화함으로써 최신 기술 수준의 정확도를 유지한다.