[논문 리뷰] Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration

Yuhang Li, Shikuang Deng외 2명|arXiv (Cornell University)|2022. 05. 06.

Advanced Memory and Neural Computing인용 수 13

한 줄 요약

이 논문은 배치 정규화가 있는 네트워크에서 특히 활성화 불일치를 최소화하면서 사전 훈련된 인공 신경망(ANN)을 스파iking 신경망(SNN)으로 변환하기 위한 계층별 파라미터 캘리브레이션 방법을 제안한다. 헤시안 기반의 두 번째 차수 분석을 통해 오차 전파를 분석하고, 가중치, 편향, 초기 막 전위를 캘리브레이션함으로써, 단지 32개의 시간 스텝만으로 ImageNet에서 최대 65%의 정확도를 달성한다. 이는 기존의 복사-붙여넣기 방식의 변환 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Spiking Neural Network (SNN), originating from the neural behavior in biology, has been recognized as one of the next-generation neural networks. Conventionally, SNNs can be obtained by converting from pre-trained Artificial Neural Networks (ANNs) by replacing the non-linear activation with spiking neurons without changing the parameters. In this work, we argue that simply copying and pasting the weights of ANN to SNN inevitably results in activation mismatch, especially for ANNs that are trained with batch normalization (BN) layers. To tackle the activation mismatch issue, we first provide a theoretical analysis by decomposing local conversion error to clipping error and flooring error, and then quantitatively measure how this error propagates throughout the layers using the second-order analysis. Motivated by the theoretical results, we propose a set of layer-wise parameter calibration algorithms, which adjusts the parameters to minimize the activation mismatch. Extensive experiments for the proposed algorithms are performed on modern architectures and large-scale tasks including ImageNet classification and MS COCO detection. We demonstrate that our method can handle the SNN conversion with batch normalization layers and effectively preserve the high accuracy even in 32 time steps. For example, our calibration algorithms can increase up to 65% accuracy when converting VGG-16 with BN layers.

연구 동기 및 목표

• 배치 정규화 레이어를 포함한 깊은 네트워크에서 발생하는 활성화 불일치 문제에 대응하는 데 초점을 맞춘다.
• 낮은 시간 스텝에서의 추론 조건에서 정확도를 유지하지 못하는 기존의 복사-붙여넣기 변환 방법의 한계를 극복한다.
• 이론적으로 탄탄한, 계층별 캘리브레이션 프레임워크를 개발하여 SNN의 파라미터를 ANN의 활성화 분포와 일치하도록 최적화한다.
• 최소한의 지연 시간으로 대규모 작업, 예를 들어 ImageNet 분류 및 MS COCO 객체 검출에서 높은 정확도의 SNN 추론을 가능하게 한다.

제안 방법

• 이론적 분석을 통해 국소 변환 오차를 잘라내기 오차와 내림값 오차로 분해한다.
• 두 번째 차수의 헤시안 기반 편미분 분석을 사용하여 활성화 오차가 계층 간 전파되는 방식을 모델링한다.
• 두 가지 캘리브레이션 파이프라인인 LCP(편향 조정만을 포함한 계층별 캘리브레이션)와 ACP(가중치, 편향, 초기 막 전위 조정을 포함한 적응형 캘리브레이션)를 제안한다.
• ANN과 SNN의 활성화 간 통계적 분산을 최소화하기 위해 소량의 레이블이 없는 데이터 셋(예: 1024장의 이미지)을 사용해 SNN 파라미터를 캘리브레이션한다.
• 파라미터 공간의 유사성보다 활성화 분포 유사성에 최적화된 방식으로, 계층을 단계별로 탐욕적으로 캘리브레이션한다.
• 실제 데이터뿐 아니라 합성(가짜) 캘리브레이션 데이터도 지원하여, 훈련 데이터가 확보되지 않은 경우에도 개인정보 보호를 고려한 변환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 ANN에서 SNN로의 변환 방법은 왜 배치 정규화가 있는 네트워크에서 특히 낮은 시간 스텝 조건에서 정확도를 유지하지 못하는가?
• RQ2 활성화 불일치는 깊은 네트워크를 통해 어떻게 전파되며, 변환 과정에서 주요 오차 원인은 무엇인가?
• RQ3 이해관계 기반의 두 번째 차수 오차 분석은 히وري스틱한 파라미터 복사 방식보다 SNN 변환 정확도를 향상시킬 수 있는가?
• RQ4 가중치 복사 외에 파라미터 캘리브레이션을 통해 얼마나 많은 성능 향상을 달성할 수 있으며, 계산 오버헤드는 최소한으로 유지되는가?
• RQ5 합성 데이터를 사용한 캘리브레이션은 실제 데이터와 비교해 유사한 성능을 달성할 수 있는가? 이는 개인정보 보호를 고려한 SNN 변환을 가능하게 하는가?

주요 결과

• 제안된 캘리브레이션 방법은 ImageNet에서 배치 정규화 레이어가 있는 VGG-16을 32개의 시간 스텝으로 변환할 때 최대 65%까지 상위-1 정확도를 향상시킨다.
• LCP는 256장의 캘리브레이션 이미지를 사용할 경우 ResNet-34에서 67.5%의 정확도를 달성하여 뛰어난 데이터 샘플 효율성을 보인다.
• ACP는 캘리브레이션 데이터셋 크기에 대해 더 높은 내구성을 보이며, 128장에서 1024장으로 증가할 때 정확도가 단지 0.8% 향상된다.
• 128개의 시간 스텝을 사용할 경우, 합성 데이터를 사용한 캘리브레이션은 실제 데이터를 사용한 경우에 비해 정확도가 0.74% 뿐 감소한다.
• 캘리브레이션된 SNN는 원본 ANN의 에너지 소비의 69.36%만을 소비하며, 최대 발화 빈도는 0.08, 최소는 0.025를 기록하여 높은 희소성과 에너지 효율성을 나타낸다.