[논문 리뷰] Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks

Shikuang Deng, Shi Gu|arXiv (Cornell University)|2021. 02. 28.

Advanced Memory and Neural Computing참고 문헌 32인용 수 100

한 줄 요약

이 논문은 ANN에서 SNN으로의 변환 오차를 분석하고 임계값 균형과 소-리셋 기반 파이프라인을 도입하여 시뮬레이션 길이를 대폭 줄이면서 정확도 손실을 거의 제로에 가깝게 달성한다.

ABSTRACT

Spiking neural networks (SNNs) are biology-inspired artificial neural networks (ANNs) that comprise of spiking neurons to process asynchronous discrete signals. While more efficient in power consumption and inference speed on the neuromorphic hardware, SNNs are usually difficult to train directly from scratch with spikes due to the discreteness. As an alternative, many efforts have been devoted to converting conventional ANNs into SNNs by copying the weights from ANNs and adjusting the spiking threshold potential of neurons in SNNs. Researchers have designed new SNN architectures and conversion algorithms to diminish the conversion error. However, an effective conversion should address the difference between the SNN and ANN architectures with an efficient approximation \DSK{of} the loss function, which is missing in the field. In this work, we analyze the conversion error by recursive reduction to layer-wise summation and propose a novel strategic pipeline that transfers the weights to the target SNN by combining threshold balance and soft-reset mechanisms. This pipeline enables almost no accuracy loss between the converted SNNs and conventional ANNs with only $\sim1/10$ of the typical SNN simulation time. Our method is promising to get implanted onto embedded platforms with better support of SNNs with limited energy and memory.

연구 동기 및 목표

• ANN을 SNN으로 변환할 때 계층 간 오차가 어떻게 전파되는지 분석한다.
• ANN과 SNN 사이의 활성화 값 차이를 최소화하는 계층 단위 변환 전략을 개발한다.
• 짧은 시뮬레이션 길이로 스파이크 빈도를 근사하기 위한 임계값 균형과 이동 메커니즘을 제안한다.
• 표준 데이터셋에서 CNN 아키텍처에 대한 이론적 및 실험적 검증을 제공한다.

제안 방법

• 순전파를 도출하고 SNN 출력이 ANN 활성화의 자르고 이산(discrete) 버전임을 보여준다.
• 변환 오차를 계층 단위 용어로 분해하고 각 계층의 활성화 차이를 제어함으로써 이를 최소화할 수 있음을 보인다.
• 소스 ANN에서 임계 ReLU 활성화를 제안하고 V_th를 y_th와 정렬하여 정보 손실을 줄인다.
• 활성화 차이의 제곱합을 최소화하기 위해 ANN ReLU에 이동 delta를 추가하고 delta ≈ V_th/(2T)임을 도출한다.
• 계층 임계값 V_th 설정과 작은 바이어스 보정 V_th/(2T)로 가중치를 전달하는 알고리즘을 제공한다.
• CIFAR-10/100 및 ImageNet에서 CIFAR-Net, VGG-16 및 ResNet-20 아키텍처를 사용하여 접근법을 검증한다.

실험 결과

연구 질문

• RQ1 ANN에서 SNN으로의 변환 오차를 계층별로 분해하고 최소화할 수 있는가?
• RQ2 임계값 균형과 활성화 이동이 정확도 손실을 최소화하면서 시뮬레이션 길이를 줄이는 데 어떤 역할을 하는가?
• RQ3 적절한 짧은 시뮬레이션 길이의 파이프라인이 표준 CNN 아키텍처에서 거의 ANN 정확도를 달성할 수 있는가?
• RQ4 소스 ANN 활성화(임계 ReLU) 수정이 변환 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• 변환 오차는 계층별 활성화 차이 용어의 합으로 근사적으로 분해될 수 있다.
• 임계 ReLU와 V_th/(2T)의 이동(delta)를 사용하면 계층별 활성화 차이를 최소화하여 전체 변환 손실을 줄인다.
• 제안된 파이프라인은 일반적인 SNN 시뮬레이션 시간의 약 1/10 수준의 시뮬레이션 시간으로 거의 정확도 손실이 없다.
• 실험은 CIFAR-10/100 및 ImageNet 과제에서 여러 기존 방법과 비교해 비슷하거나 더 나은 정확도와 훨씬 짧은 시뮬레이션 길이를 보인다.
• 일부 경우(예: CIFAR-10/100의 ResNet-20)에서 변환된 SNN이 원래의 ANN보다 더 나은 성능을 보이는 경우도 있다.
• 이 방법은 필요한 시뮬레이션 스텝수를 크게 줄이면서(예: 일부 네트워크에서 16–32 스텝) 높은 정확도를 유지한다.