[논문 리뷰] Spike Calibration: Fast and Accurate Conversion of Spiking Neural Network for Object Detection and Segmentation

Yang Li, Xiang He외 3명|arXiv (Cornell University)|2022. 07. 06.

Advanced Memory and Neural Computing인용 수 15

한 줄 요약

이 논문은 복잡한 작업인 객체 검출 및 세분화와 같은 분야에서 신경망(ANN)을 스파iking 신경망(SNN)으로 변환하는 데 있어 빠르고 정확하며 에너지 효율적인 방법인 스파이크 캘리브레이션(SpiCalib)을 제안한다. 스파iking 뉴런이 ANN에서는 비활성화되어 있지만 SNN에서는 발화하는 경우(이를 SIN 오류라 함) 발생하는 변환 오류를 이론적으로 분석함으로써, 스파이크 간 간격(ISI) 모니터링을 통해 잘못된 스파이크를 보정하고, LIPooling을 수정하여 손실 없는 MaxPooling 변환을 가능하게 함으로써, 128개의 시간 단계 내에 SNN 성능을 ANN 수준으로 유지하면서 에너지 소비량을 0.492배로 줄였다.

ABSTRACT

Spiking neural network (SNN) has been attached to great importance due to the properties of high biological plausibility and low energy consumption on neuromorphic hardware. As an efficient method to obtain deep SNN, the conversion method has exhibited high performance on various large-scale datasets. However, it typically suffers from severe performance degradation and high time delays. In particular, most of the previous work focuses on simple classification tasks while ignoring the precise approximation to ANN output. In this paper, we first theoretically analyze the conversion errors and derive the harmful effects of time-varying extremes on synaptic currents. We propose the Spike Calibration (SpiCalib) to eliminate the damage of discrete spikes to the output distribution and modify the LIPooling to allow conversion of the arbitrary MaxPooling layer losslessly. Moreover, Bayesian optimization for optimal normalization parameters is proposed to avoid empirical settings. The experimental results demonstrate the state-of-the-art performance on classification, object detection, and segmentation tasks. To the best of our knowledge, this is the first time to obtain SNN comparable to ANN on these tasks simultaneously. Moreover, we only need 1/50 inference time of the previous work on the detection task and can achieve the same performance under 0.492$ imes$ energy consumption of ANN on the segmentation task.

연구 동기 및 목표

• 기존의 SNN 변환 방법에서 심각한 성능 저하와 높은 시간 지연이 발생하는 문제를 해결하기 위해, 특히 객체 검출 및 세분화와 같은 복잡한 작업에 초점을 맞춘다.
• 이산 스파이크와 시간에 따라 변하는 시냅스 전류 극한값으로 인해 발생하는 변환 오류를 규명하고, 이를 수정한다.
• 활성화 패턴을 유지함으로써 SNN 내에서 어떤 MaxPooling 레이어도 손실 없이 변환할 수 있도록 LIPooling을 수정한다.
• 수동 조정에 의존하지 않고 베이지안 최적화를 사용하여 정규화 파rameter를 자동으로 최적화한다.
• 복잡한 시각 작업에서 ANN과 유사한 SNN 성능을 달성하면서도 낮은 에너지 소비와 빠른 추론을 유지한다.

제안 방법

• 변환 오류를 클리핑 오류, 비활성 뉴런의 스파이크(SIN) 오류, MaxPooling 오류의 세 가지 유형으로 이론적으로 분석하며, 시간에 따라 변하는 시냅스 전류 극한값으로 인해 발생하는 SIN 오류가 가장 해로운 것으로 규명한다.
• 스파이크 캘리브레이션(SpiCalib)을 제안하여 뉴런의 평균 스파이크 간 간격(ISI)을 모니터링함으로써 SIN 오류를 탐지하고 수정한다.
• 모든 MaxPooling 레이어를 SNN로 손실 없이 변환할 수 있도록 LIPooling을 수정함으로써 시간 단계에 걸친 최대 활성화를 유지한다.
• p-노름 정규화의 파rameter $ p $를 자동으로 최적화하기 위해 베이지안 최적화를 도입함으로써 경험적 설정에 의존하지 않도록 한다.
• 기존의 변환 프레임워크(예: 버스트 스파이크)와 통합하여 ResNet 및 FCN 백본을 사용한 분류, 검출, 세분화 작업에 적용한다.

실험 결과

연구 질문

• RQ1 복잡한 시각 작업(간단한 분류를 초월)에서 ANN에서 SNN로의 변환 과정에서 성능 저하의 주요 원인은 무엇인가?
• RQ2 시간에 따라 변하는 시냅스 전류 극한값이 비활성 뉴런에서 오작동하는 스파이크(SIN 오류)를 유발하는 방식은 무엇이며, 네트워크 구조를 변경하지 않고 이를 수정할 수 있는가?
• RQ3 MaxPooling 레이어를 SNN로 변환할 때 성능 손실 없이 수행할 수 있는가? 만약 가능하다면, 이를 가능하게 하는 LIPooling의 수정 방법은 무엇인가?
• RQ4 자동 하이퍼파ram터 최적화(예: $ p $-노름 정규화에 대한 최적화)는 변환 정확도와 다양한 작업 간 일반화 능력을 향상시킬 수 있는가?
• RQ5 짧은 시뮬레이션 시간과 낮은 에너지 예산 내에서 SNN이 객체 검출 및 세분화 작업에서 ANN과 유사한 성능을 달성할 수 있는가?

주요 결과

• SpiCalib는 분류, 객체 검출, 세분화 작업에서 최신 기술 수준의 성능을 달성하며, 128개의 시간 단계 이내에 SNN이 PASCAL VOC에서 ANN 성능을 그대로 재현한다.
• 객체 검출 작업에서 이전 연구 대비 추론 시간을 1/50으로 줄였지만, 동일한 평균 평균 정밀도(mAP)를 유지한다.
• VOC에서 FCN를 사용한 세분화 작업에서, SpiCalib는 T=128일 때 81.49%의 주파수 가중 IoU를 기록하여 ANN의 81.49%와 정확히 일치하며, 기존 기준 SNN보다 최대 2.3%포인트 높은 성능을 기록한다.
• 세분화 작업에서 에너지 소비량을 ANN의 0.492배로 줄여 강력한 에너지 효율성을 입증한다.
• 정규화 파arameter의 베이지안 최적화가 일반화 능력을 향상시키며, MLIPooling과 SpiCalib의 조합은 T=256일 때 정확히 ANN 성능을 재현하여 81.49%의 f.w. IoU를 달성한다.
• 희소성 분석 결과, 스파이크 빈도는 0.0062에서 0.0319 사이로 나타나, 뉴로모픽 하드웨어에서 높은 희소성과 에너지 효율성을 확인한다.