[논문 리뷰] Training Spiking Deep Networks for Neuromorphic Hardware

Eric Hunsberger, Chris Eliasmith|arXiv (Cornell University)|2016. 01. 01.

Advanced Memory and Neural Computing참고 문헌 14인용 수 109

한 줄 요약

이 논문은 유연한 적합성과 노이즈 정규화를 통해 깊이 있는 인공신경망(ANN)을 학습하는 확장 가능한 방법을 제시하며, 이는 스파iking 신경망(SNN)에서 최신 성능을 달성한다. 이는 ImageNet 포함 다섯 가지 데이터셋에서 성능을 내며, 릴루 기반의 SNN이 이전에 달성하지 못했던 성능을 달성한다. LIF 반응 함수를 부드럽게 하여 도함수가 유계임을 보장하고, 출력 노이즈를 사용하여 학습함으로써, 고정밀도를 확보하면서도 뉴로모픽 하드웨어에서 에너지 효율적인 구현이 가능하다.

ABSTRACT

We describe a method to train spiking deep networks that can be run using leaky integrate-and-fire (LIF) neurons, achieving state-of-the-art results for spiking LIF networks on five datasets, including the large ImageNet ILSVRC-2012 benchmark. Our method for transforming deep artificial neural networks into spiking networks is scalable and works with a wide range of neural nonlinearities. We achieve these results by softening the neural response function, such that its derivative remains bounded, and by training the network with noise to provide robustness against the variability introduced by spikes. Our analysis shows that implementations of these networks on neuromorphic hardware will be many times more power-efficient than the equivalent non-spiking networks on traditional hardware.

연구 동기 및 목표

• 뉴로모픽 하드웨어를 위한 정확한 변환을 가능하게 하는 깊이 있는 ANN를 학습하기 위한 확장 가능한 방법을 개발하는 것.
• 응답 함수의 도함수가 무한대가 되는 복잡한 비선형 뉴런 모델인 LIF 뉴런을 학습하는 데 도전하는 것.
• 스파이크 유도 변동성에 대한 SNN의 강건성을 향상시키기 위해 뉴런 출력에 노이즈를 적용하여 학습하는 것.
• 이 방법으로 학습된 SNN이 이전에 LIF 기반 SNN에서 달성하지 못했던 대규모 벤치마크인 ImageNet에서 높은 정확도를 달성할 수 있음을 입증하는 것.
• 전통적 하드웨어와 비교하여 뉴로모픽 구현의 에너지 효율성 향상 정도를 분석하고 정량화하는 것.

제안 방법

• ReLU 비선형성과 최대 풀링을 사용한 표준적인 깊이 있는 ANN를 표준 백프로파게이션으로 학습한다.
• 배치 도함수가 유계임을 보장하기 위해 ReLU를 부드럽게 처리한 소프트 LIF 반응 함수로 교체한다. 이는 비선형성 내부의 백프로파게이션을 가능하게 한다.
• 부드러움을 제어하기 위해 소프트 최대함수 ρ2(x) = γ log[1 + e^{x/γ}]를 사용한다. 여기서 γ → 0일 때 경계가 딱딱한 임계값으로 복원된다.
• 전방 전파 중 각 뉴런의 출력에 무작위 노이즈를 추가하여 스파이크 트레인의 변동성을 시뮬레이션한다.
• 스파이크 트레인의 시간 필터링을 모델링하기 위해 α-함수 시냅스 필터(α(t) = (t/τs)e^{-t/τs})를 적용한다. 이는 시냅스 후 전위를 근사한다.
• LIF 뉴런을 사용하여 훈련된 ANN의 가중치와 편향을 전이하여 스파킹 네트워크로 변환하며, 설정 가능한 분류 시간(c0, c1)과 시냅스 시간 상수(τs)를 제공한다.

실험 결과

연구 질문

• RQ1 LIF 뉴런을 사용하여 깊이 있는 ANN를 SNN로 성공적으로 변환할 수 있는가, 이때 높은 분류 정확도를 유지할 수 있는가?
• RQ2 훈련 중에 노이즈 정규화를 적용할 경우, 스파이크 트레인의 변동성을 시뮬레이션할 때 SNN의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ3 시냅스 필터링과 분류 시간이 SNN의 정확도와 에너지 효율성에 어떤 영향을 미치는가?
• RQ4 이 방법은 LIF 기반 SNN을 사용하여 ImageNet ILSVRC-2012와 같은 대규모 벤치마크에 확장 가능한가?
• RQ5 화재율과 네트워크 설계는 뉴로모픽 구현에서 에너지 효율성에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 다섯 가지 데이터셋에서 최신 SNN 성능을 달성하였으며, ImageNet ILSVRC-2012에서 LIF 뉴런을 사용하여 상위-1 오차율 16.2%를 기록하였다.
• 소프트 LIF 반응 함수는 도함수가 유계임을 보장하여 안정적인 백프로파게이션을 가능하게 하며, 딱딱한 LIF 임계값으로 전환할 때 정확도 저하가 최소화된다.
• 노이즈를 포함한 학습은 스파이크 변동성으로 인한 오차를 감소시키며, ANN가 노이즈 없이 더 잘 작동함에도 불구하고 CIFAR-10에서 SNN 정확도를 0.6% 향상시켰다.
• CIFAR-10과 ImageNet에서 시냅스를 제거하면(τs = 0 ms), 정확도에 큰 영향을 주지 않아 스파이크 트레인 필터링에 대해 강건함을 보였다.
• MNIST 네트워크는 평균 화재율이 낮아(9.67 Hz) 고주기 네트워크와 달리 일부 시냅스 필터링(τs > 0)이 필요하다.
• 분류 시간(c1)과 시작 시간(c0)은 정확도에 상당한 영향을 미치며, 최적의 값은 네트워크 아키텍처와 화재율에 따라 달라진다.