[논문 리뷰] Theory and Tools for the Conversion of Analog to Spiking Convolutional Neural Networks

Bodo Rueckauer, Iulia-Alexandra Lungu외 2명|arXiv (Cornell University)|2016. 12. 13.

Advanced Memory and Neural Computing참고 문헌 19인용 수 103

한 줄 요약

본 논문은 ANN-to-SNN 변환에 대한 이론을 개발하고, 바이어스, 배치 정규화, 최대풀링, 소프트맥스가 포함된 CNN을 거의 손실 없이 SNN으로 변환하기 위한 실용 도구를 도입하여 CIFAR-10 및 MNIST에서 최첨단 성능을 달성한다.

ABSTRACT

Deep convolutional neural networks (CNNs) have shown great potential for numerous real-world machine learning applications, but performing inference in large CNNs in real-time remains a challenge. We have previously demonstrated that traditional CNNs can be converted into deep spiking neural networks (SNNs), which exhibit similar accuracy while reducing both latency and computational load as a consequence of their data-driven, event-based style of computing. Here we provide a novel theory that explains why this conversion is successful, and derive from it several new tools to convert a larger and more powerful class of deep networks into SNNs. We identify the main sources of approximation errors in previous conversion methods, and propose simple mechanisms to fix these issues. Furthermore, we develop spiking implementations of common CNN operations such as max-pooling, softmax, and batch-normalization, which allow almost loss-less conversion of arbitrary CNN architectures into the spiking domain. Empirical evaluation of different network architectures on the MNIST and CIFAR10 benchmarks leads to the best SNN results reported to date.

연구 동기 및 목표

• 스파이킹 신경망(SNN)을 통한 빠르고 에너지 효율적인 추론의 필요성을 제시한다.
• SNN의 활성화율이 ReLU 활성화값을 근사하는 방식에 대한 이론적 기초를 제공한다.
• 일반적인 CNN 특징(바이어스, 배치 정규화, 최대풀링, 소프트맥스)을 포함하도록 변환 도구를 확장한다.
• CIFAR-10 및 MNIST 벤치마크에서 거의 손실 없는 ANN-to-SNN 변환을 시연한다.

제안 방법

• ANN 활성화를 SNN 발화율에 관련시키기 위한 막-리셋(membrane-and-reset) 역학을 도출하고, subtraction에 의한 리셋이 편향되지 않은 근사치를 제공하는 방식을 보인다.
• 바이어스를 다루기 위한 가중치 정규화를 일반화한다(최대-노름(max-norm) 및 강건한 분위수 기반 정규화).
• 추가 단계 없이 BN-레이어 변환이 가능하도록 배치 정규화 효과를 가중치에 통합한다.
• 저활성화 영역의 개선을 위해 첫 번째 은닉층으로의 아날로그 입력을 가능하게 한다.
• 경쟁적 소프트맥스 결정에 외부 포아송 스파이크 생성기를 이용한 스파이킹 소프트맥스를 도입한다.
• 온라인 발화률 추정에 기반한 게이팅(gating)을 이용한 스파이킹 최대풀링을 제안한다.

실험 결과

연구 질문

• RQ1 현실적인 스파이킹 역학 하에서 ANN 활성화가 SNN 발화율로 정확히 근사될 수 있는가?
• RQ2 편차 없이 바이어스, BN, 최대풀링, 소프트맥스를 포함하도록 ANN-to-SNN 변환을 확장하는 방법은?
• RQ3 어떤 정규화 전략이 변환 후 정확도를 최대화하면서 합리적인 지연을 유지하는가?
• RQ4 더 큰 네트워크의 경우 첫 번째 은닉층으로의 아날로그 입력이 변환 성능을 개선하는가?
• RQ5 일반적인 CNN 구성요소를 스파이킹 도메인으로 변환할 때 정확도와 지연 시간에 어떤 영향이 있는가?

주요 결과

• CIFAR-10에 대해 거의 손실 없이 변환이 가능하다(최고 ~87.62–87.82%는 정규화 및 입력 전략에 따라 다름).
• subtraction에 의한 리셋은 ANN-to-SNN 근사를 개선하고 더 깊은 네트워크가 ANN 정확도에 근접하도록 한다.
• 첫 번째 은닉층으로의 아날로그 입력은 CIFAR-10 결과를 대폭 개선한다(일부 설정에서 83.6%, 강건한 정규화로 87.62%).
• 백분위수 기반 스케일(예: 99번째~99.9번째 백분위수)로 강건한 가중치 정규화는 과소발화 방지와 포화 억제의 균형에서 최대 활성화 정규화보다 우수하다.
• MNIST에서 max-pooling이 있는 7층 네트워크는 변환 후 99.44%를 달성하여 기존 SNN 결과를 능가한다.
• 제안된 방법으로 CIFAR-10에서 4-conv-layer CNN을 변환하면 최종 SNN 정확도가 ANN 기준에 거의 근접한다(87.86% ANN → ~87.6–87.8% SNN).