[논문 리뷰] A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration

Yuhang Li, Shikuang Deng외 3명|arXiv (Cornell University)|2021. 06. 13.

Advanced Memory and Neural Computing참고 문헌 37인용 수 50

한 줄 요약

논문은 SNN Calibration을 소개한다. 이는 사전 학습된 ANN을 저지연, 정확한 SNN으로 변환하는 층별(calibration) 방법으로, 소량의 보정 데이터 예산으로 MobileNet과 RegNet의 ImageNet에서 최첨단 결과를 달성한다.

ABSTRACT

Spiking Neural Network (SNN) has been recognized as one of the next generation of neural networks. Conventionally, SNN can be converted from a pre-trained ANN by only replacing the ReLU activation to spike activation while keeping the parameters intact. Perhaps surprisingly, in this work we show that a proper way to calibrate the parameters during the conversion of ANN to SNN can bring significant improvements. We introduce SNN Calibration, a cheap but extraordinarily effective method by leveraging the knowledge within a pre-trained Artificial Neural Network (ANN). Starting by analyzing the conversion error and its propagation through layers theoretically, we propose the calibration algorithm that can correct the error layer-by-layer. The calibration only takes a handful number of training data and several minutes to finish. Moreover, our calibration algorithm can produce SNN with state-of-the-art architecture on the large-scale ImageNet dataset, including MobileNet and RegNet. Extensive experiments demonstrate the effectiveness and efficiency of our algorithm. For example, our advanced pipeline can increase up to 69% top-1 accuracy when converting MobileNet on ImageNet compared to baselines. Codes are released at https://github.com/yhhhli/SNN_Calibration.

연구 동기 및 목표

• ANN과 SNN 간의 변환으로 인해 활성화 불일치를 해결하여 효율적인 SNN 배치를 촉진한다.
• 사전 학습된 ANN을 활용하여 정확하고 저지연의 SNN을 생성하는 층별(calibration) 프레임워크를 제안한다.
• 변환 오차 구성요소와 그 전파를 분석하여 타깃 보정 전략을 설계한다.
• 정확도, 데이터 필요량, 계산 사이의 균형을 맞추는 실용적 파이프라인(경량 및 고급)을 제공한다.
• MobileNet, RegNetX-4GF와 같은 대형 아키텍처 및 ImageNet 규모 작업에 대한 확장성을 입증한다.

제안 방법

• 스파이크 생성을 위한 바닥(floor) 및 절단(clipping) 오차를 포함하는 전파 문제로 ANN-에서-SNN 변환을 형식화한다.
• 층별 SNN 임계값을 시간 단계 전체에 걸쳐 설정하는 MMSE 기반 적응 임계값을 도입한다.
• 보정 알고리즘을 층별로 개발하여 바이어스(경량 파이프라인)를 조정하고 필요 시 초기 막전위와 가중치까지 조정(고급 파이프라인)한다.
• BN, AvgPool 및 변환 특화 구성요소를 BN 흡수 및 풀-합성곱 처리 통합을 통해 다룬다.
• 데이터 예산 기반의 보정으로 두 가지 실용적 파이프라인(Light: 바이어스만, Advanced: 바이어스, 초기 전위, 가중치)을 제공한다.
• 가중치 보정 중 그래디언트 흐름을 위한 직통 추정기(Straight-Through Estimator)를 활용한 결정론적 손실 기반 보정 루프를 사용한다.

실험 결과

연구 질문

• RQ1 층 간 ANN-에서-SNN 변환 오차를 어떻게 특성화하고 한정할 수 있는가?
• RQ2 매우 낮은 시간 단계(≤256)에서 최소 데이터 효율적 보정 스킴으로 활성화 차이를 줄일 수 있는가?
• RQ3 전환 중 바닥(floor)과 절단(clipping) 오차의 균형을 가장 잘 맞추는 임계값 전략은 무엇이며 MMSE는 층 간에 어떻게 작동하는가?
• RQ4 대형 모델 및 BN이 포함된 아키텍처에서 Light vs Advanced 보정 파이프라인의 트레이드오프와 실제 이득은 무엇인가?
• RQ5 BN, AvgPool 및 기타 일반 레이어가 변환에 어떤 영향을 주며 이를 보정에 효과적으로 통합할 수 있는가?

주요 결과

• 적응형 MMSE 임계값은 짧은 시뮬레이션 길이에서 고정되거나 극단적인 임계값 선택보다 변환 오차를 낮춘다.
• 바이어스 보정(경량 파이프라인)은 BN 구성 및 임계값에 관계없이 정확도를 일관되게 향상시키며 메모리 오버헤드가 작다.
• 보정 및 가중치 보정(고급 파 pipeline)은 정확도를 더욱 향상시켜 ImageNet에서 VGG-16 및 MobileNet에서 유의한 이득을 달성한다.
• T ≤ 256에서 MobileNet과 RegNetX-4GF에 대해 고정밀도 변환이 가능하며 여러 기준선보다 우수하다.
• WC 전체가 포함된 고급 파이프라인은 엔드투엔드 훈련 방식에 비해 현저히 낮은 대기 시간으로 경쟁력 있는 정확도에 도달할 수 있다.
• 에너지 효율성은 여전히 높게 유지되며 희소 발화를 통해 neuromorphic 하드웨어에서 상당한 에너지 절감을 달성한다(예: Spiking VGG-16 사례에서 ANN 대비 69.36%의 에너지 절감).