[논문 리뷰] Towards Low-Latency Energy-Efficient Deep SNNs via Attention-Guided Compression

Souvik Kundu, Gourav Datta외 2명|arXiv (Cornell University)|2021. 07. 16.

Advanced Memory and Neural Computing참고 문헌 50인용 수 11

한 줄 요약

이 논문은 사전 훈련된 ANN의 주의 맵을 활용하여 구조적이고 비구조적인 프루닝을 유도하는 주의 지도형 비반복 압축 프레임워크를 제안한다. 이는 깊이 있는 스파iking 신경망(SNNs)을 초고속 압축(최대 33.4×)하면서 정확도 손실를 최소화하며, 직접 입력 코딩을 통한 희소 학습 기반 SNN 훈련을 수행한다. 이 방법은 추론 지연을 감소시키고 에너지 효율성을 향상시켜, CIFAR-10에서 압축되지 않은 ANN보다 최대 98× 높은 계산 에너지 효율성을 달성한다.

ABSTRACT

Deep spiking neural networks (SNNs) have emerged as a potential alternative to traditional deep learning frameworks, due to their promise to provide increased compute efficiency on event-driven neuromorphic hardware. However, to perform well on complex vision applications, most SNN training frameworks yield large inference latency which translates to increased spike activity and reduced energy efficiency. Hence,minimizing average spike activity while preserving accuracy indeep SNNs remains a significant challenge and opportunity.This paper presents a non-iterative SNN training technique thatachieves ultra-high compression with reduced spiking activitywhile maintaining high inference accuracy. In particular, our framework first uses the attention-maps of an un compressed meta-model to yield compressed ANNs. This step can be tuned to support both irregular and structured channel pruning to leverage computational benefits over a broad range of platforms. The framework then performs sparse-learning-based supervised SNN training using direct inputs. During the training, it jointly optimizes the SNN weight, threshold, and leak parameters to drastically minimize the number of time steps required while retaining compression. To evaluate the merits of our approach, we performed experiments with variants of VGG and ResNet, on both CIFAR-10 and CIFAR-100, and VGG16 on Tiny-ImageNet.The SNN models generated through the proposed technique yield SOTA compression ratios of up to 33.4x with no significant drops in accuracy compared to baseline unpruned counterparts. Compared to existing SNN pruning methods, we achieve up to 8.3x higher compression with improved accuracy.

연구 동기 및 목표

• 자원 제약이 있는 엣지 디바이스에의 적용을 제한하는 깊이 있는 SNN의 높은 추론 지연과 에너지 소비 문제를 해결하기 위해.
• 배치 정규화 레이어가 없는 환경에서 반복적 또는 복잡한 최적화 없이 고압축·에너지 효율적인 SNN을 가능하게 하기 위해.
• 비반복적이고 종단 간 훈련 프레임워크를 개발하여 다양한 하드웨어 호환성을 확보하기 위해, 비구조적 및 구조적 프루닝을 모두 지원한다.
• 직접 입력 코딩과 SNN 파라미터의 동시 최적화를 통해 스파이크 활동과 시간 단계를 최소화하여 SNN 추론 효율을 향상시키기 위해.

제안 방법

• 압축되지 않은 사전 훈련된 메타-ANN의 주의 맵을 활용하여, 구조적 또는 비구조적 채널 프루닝을 통해 ANN를 희소하고 낮은 밀도의 구조로 압축한다.
• ANN의 활성화 통계를 기반으로 각 레이어의 임계값을 순차적으로 고정하여, 압축된 ANN를 SNN으로 변환한다.
• 직접 입력 코딩을 사용하여 SNN에서 희소 학습 기반의 지도 훈련을 수행하며, SNN 가중치, 임계값, 누설 파라미터를 동시에 최적화하여 시간 단계를 최소화한다.
• 희소 학습의 비반복적 특성을 활용하여, 배치 정규화가 없는 네트워크에서 흔히 발생하는 계층별 밀도 조정 및 기울기 폭발 문제를 피한다.
• 비구조적 및 구조적 프루닝을 모두 지원하여, 전용 희소 가속기 유무에 관계없이 다양한 플랫폼에서 하드웨어에 영향을 받지 않는 배포를 가능하게 한다.
• 직접 입력 코딩을 사용하여 스파이크 활동과 FLOPs를 감소시키며, 특히 초기 레이어에서 추론 지연과 에너지 효율을 향상시킨다.

실험 결과

연구 질문

• RQ1 주의 지도형 압축은 반복적 또는 복잡한 최적화 없이 고압축 SNN를 가능하게 할 수 있는가?
• RQ2 직접 입력 코딩은 비율 코딩된 입력에 비해 압축된 SNN의 스파이크 활동과 추론 지연에 어떤 영향을 미치는가?
• RQ3 희소 학습 기반 훈련과 함께 구조적 및 비구조적 프루닝을 얼마나 잘 조합할 수 있는가? 이는 정확도 유지와 에너지 소비 감소에 기여하는가?
• RQ4 제안된 방법은 기존의 SNN 프루닝 기법에 비해 더 높은 압축률과 에너지 효율성을 달성할 수 있는가? 특히 VGG나 ResNet과 같은 깊은 아키텍처에서 그러한가?

주요 결과

• 제안된 방법은 CIFAR-10에서 최대 33.4×의 압축 비율을 달성하며, 압축되지 않은 SNN에 비해 정확도 손실가 최소한이다.
• 직접 입력 코딩을 사용한 압축 SNN는 압축되지 않은 ANN보다 최대 98× 높은 계산 에너지 효율성을 보이며, VGG16의 경우 동일 파arameter 수의 ANN보다 47× 높은 효율성을 달성한다.
• 직접 입력 코딩과 최적화된 임계값 설정 덕분에, 기준 SNN 대비 평균 스파이크 활동이 최대 약 98% 감소하였으며, 특히 초기 레이어에서 두드러진다.
• 기존의 SNN 프루닝 기법에 비해, CIFAR-10과 CIFAR-100에서 최대 8.3× 높은 압축률을 달성하면서 정확도가 향상되었다.
• 직접 입력 SNN는 비율 코딩 기반 변종 대비 최대 4.5× 높은 FLOPs 효율성을 보이며, 추론 지연이 감소하였다.
• 극한의 압축 수준에서도 높은 정확도를 유지하였으며, 채널 프루닝 모델의 경우 초기 레이어에서 스파이크 활동이 기준 대비 최소 약 1.36×로 감소하였다.