[논문 리뷰] Comprehensive SNN Compression Using ADMM Optimization and Activity Regularization

Lei Deng, Yujie Wu외 7명|arXiv (Cornell University)|2019. 11. 03.

Advanced Memory and Neural Computing참고 문헌 58인용 수 13

한 줄 요약

이 논문은 연결 프루닝과 가중치 양자화를 위한 ADMM 기반 최적화, 그리고 동적 스파이크 이벤트를 줄이기 위한 활동 정규화를 조합한 종합적인 스파iking 신경망(SNN) 압축 프레임워크를 제안한다. MNIST에서 25%의 희박성과 3비트 가중치로 최대 98.59%의 정확도를 달성하며, 이는 모든 주요 SNN 압축 구성 요소를 통합적으로 다룬 최초의 정량적 평가와 함께 이전 방법보다 뛰어난 성능을 보인다.

ABSTRACT

As well known, the huge memory and compute costs of both artificial neural networks (ANNs) and spiking neural networks (SNNs) greatly hinder their deployment on edge devices with high efficiency. Model compression has been proposed as a promising technique to improve the running efficiency via parameter and operation reduction. Whereas, this technique is mainly practiced in ANNs rather than SNNs. It is interesting to answer how much an SNN model can be compressed without compromising its functionality, where two challenges should be addressed: i) the accuracy of SNNs is usually sensitive to model compression, which requires an accurate compression methodology; ii) the computation of SNNs is event-driven rather than static, which produces an extra compression dimension on dynamic spikes. To this end, we realize a comprehensive SNN compression through three steps. First, we formulate the connection pruning and weight quantization as a constrained optimization problem. Second, we combine spatio-temporal backpropagation (STBP) and alternating direction method of multipliers (ADMM) to solve the problem with minimum accuracy loss. Third, we further propose activity regularization to reduce the spike events for fewer active operations. These methods can be applied in either a single way for moderate compression or a joint way for aggressive compression. We define several quantitative metrics to evaluation the compression performance for SNNs. Our methodology is validated in pattern recognition tasks over MNIST, N-MNIST, CIFAR10, and CIFAR100 datasets, where extensive comparisons, analyses, and insights are provided. To our best knowledge, this is the first work that studies SNN compression in a comprehensive manner by exploiting all compressible components and achieves better results.

연구 동기 및 목표

• 엣지 배포에 대한 관심이 증가하고 있음에도 불구하고 체계적인 SNN 압축 기법의 부족을 해결하기 위해.
• SNN의 압축에 대한 높은 민감도와 이벤트 기반 계산 동역학의 이중적 과제를 극복하기 위해.
• 연결 프루닝, 가중치 양자화, 스파이크 활동 감소를 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 메모리, 연산, 스파이크 효율성 측면에서 SNN 압축 성능을 평가하기 위한 정량적 지표를 수립하기 위해.
• 통합 압축이 단일 방법 기반 접근보다 정확도와 효율성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• ADMM를 활용해 SNN의 연결 프루닝과 가중치 양자화를 제약 조건 최적화 문제로 수식화하기 위해.
• STBP(스пат리오토 temporal backpropagation)를 ADMM와 통합하여 정확도 손실를 최소화하면서 네트워크 구조와 가중치를 동시에 최적화하기 위해.
• 이벤트 기반 SNN에서 활동적인 연산을 줄이기 위해 스파이크 이벤트를 최소화하는 활동 정규화를 도입하기 위해.
• 응용 프로그램의 필요에 따라 단일 방법(중간 수준의 압축)과 통합 방법(강한 압축)을 모두 지원하도록 하기 위해.
• 평가를 위해 세 가지 압축 지표를 정의하기 위해: 메모리 감소율(R_mem), 스파이크 감소율(R_s), 전체 연산 감소율(R_ops).
• 일반화성과 강건성을 검증하기 위해 MNIST, N-MNIST, CIFAR10, CIFAR100에 걸쳐 프레임워크를 적용하기 위해.

실험 결과

연구 질문

• RQ1 연결 프루닝, 가중치 양자화, 스파이크 활동 감소를 통합적으로 SNN 압축에 체계적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 각 압축 구성 요소(프루닝, 양자화, 정규화)가 메모리 감소와 스파이크 감소에 기여하는 상대적 기여도는 어떻게 되는가?
• RQ3 정확도와 효율성 측면에서 통합 압축은 단일 방법 압축보다 어떻게 다를까?
• RQ4 다양한 압축 비율에서 SNN의 메모리 절감과 스파이크 감소 사이의 상호 상충 관계는 어떠한가?
• RQ5 정적(MNIST)과 동적(N-MNIST) 데이터셋 간 SNN 압축 성능의 차이는 무엇인가?

주요 결과

• 가중치 양자화가 메모리 감소(R_mem)에 가장 큰 기여를 하며, 활동 정규화가 스파이크 감소(R_s)에 가장 큰 기여를 한다.
• R_mem와 R_s 사이에 상호 상충 관계가 존재하며, R_ops는 압축 후 정확도에 대한 신뢰할 수 있는 지표로 기능한다.
• 다양한 구성 요소를 동시에 압축하는 통합 방법은 강력한 단일 구성 요소 압축보다 훨씬 낮은 정확도 손실를 기록한다.
• SNN는 가중치 양자화에 대해 매우 높은 내성을 보이며, 3비트 정밀도에서도 높은 정확도를 유지한다.
• 이벤트 기반 데이터셋(N-MNIST)에서는 낮은 압축 수준에서 정확도가 더 크게 떨어지지만, 강력한 압축 수준에서는 유연하게 복구된다.
• 제안된 직접적 SNN 압축 기법은 25% 희박성과 3비트 가중치로 MNIST에서 98.59%의 정확도를 달성하며, T가 매우 클 경우(예: T=1000)를 제외하고는 ANN에서 SNN로의 변환 방법을 능가한다.