[논문 리뷰] Spiking Deep Networks with LIF Neurons

Eric Hunsberger, Chris Eliasmith|arXiv (Cornell University)|2015. 10. 29.

Advanced Memory and Neural Computing참고 문헌 14인용 수 217

한 줄 요약

이 논문은 생물학적으로 타당한 누설 적분-화염(LIF) 뉴런을 사용하여 딥 컨volution 신경망을 훈련시키는 방법을 제시하며, CIFAR-10(1.63% 오차) 및 MNIST(1.63% 오차) 데이터셋에서 최신 기술 수준의 성능을 달성한다. LIF 뉴런 반응을 부드럽게 처리하여 역전파가 가능하게 하고, 노이즈를 사용해 스파ike 변동성에 대한 강건성을 향상시킴으로써, 더 단순한 적분-화염 모델에 의존하지 않고도 고정확도의 스파iking 네트워크를 구현할 수 있다.

ABSTRACT

We train spiking deep networks using leaky integrate-and-fire (LIF) neurons, and achieve state-of-the-art results for spiking networks on the CIFAR-10 and MNIST datasets. This demonstrates that biologically-plausible spiking LIF neurons can be integrated into deep networks can perform as well as other spiking models (e.g. integrate-and-fire). We achieved this result by softening the LIF response function, such that its derivative remains bounded, and by training the network with noise to provide robustness against the variability introduced by spikes. Our method is general and could be applied to other neuron types, including those used on modern neuromorphic hardware. Our work brings more biological realism into modern image classification models, with the hope that these models can inform how the brain performs this difficult task. It also provides new methods for training deep networks to run on neuromorphic hardware, with the aim of fast, power-efficient image classification for robotics applications.

연구 동기 및 목표

• 표준 ReLU 또는 IF 뉴런 대신 생물학적으로 타당한 LIF 뉴런을 사용하여 딥 스파킹 신경망을 훈련시키는 방법을 개발하는 것.
• 추론 중 스파이크 이벤트로 인한 이산적 스파이크의 변동성에 대비한 스파킹 네트워크의 강건성을 향상시키는 것.
• 정적 네트워크에서 동적 스파킹 네트워크로의 전이 가능성을 유지하면서 정확도 손실이 최소한이 되도록 하는 것.
• IF 뉴런보다 생물학적으로 더 타당한 LIF 뉴런이 딥 스파킹 네트워크에서 최신 기술 수준의 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 역전파를 위한 유한한 기울기를 보장하기 위해, 사전 훈련된 딥 CNN의 ReLU 비선형성 대신 LIF 뉴런 반응 함수의 부드러운 버전을 도입한다.
• 스파이크 트레인 인코딩에서 유래하는 변동성을 시뮬레이션하기 위해 훈련 중에 가우시안 노이즈를 추가로 사용하여 스파킹 동역학에 대한 강건성을 향상시킨다.
• 스파이킹 뉴런과의 전방향 호환성을 확보하기 위해, 기존 CNN 아키텍처에서 풀링을 최대 풀링에서 평균 풀링으로 변경하고, 국소 반응 정규화를 제거한다.
• 정적 네트워크의 훈련된 가중치와 편향을 LIF 뉴런으로 구성된 스파킹 네트워크로 이관하여 네트워크 구조와 연결성을 유지한다.
• 가중치 감쇠와 확률적 경사 하강법를 사용하여 표준 역전파로 정적 네트워크를 훈련한 후, 노이즈 주입을 통한 미세조정을 수행한다.
• LIF 뉴런 출력에 부드러운 임계값 함수를 적용하여 딱딱한 스파이크 임계값을 연속적이고 미분 가능한 근사치로 대체한다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 LIF 뉴런을 사용하는 딥 스파킹 네트워크가 더 단순한 IF 뉴런을 사용해 훈련된 최신 기술 수준의 스파킹 네트워크와 유사한 성능을 달성할 수 있는가?
• RQ2 LIF 뉴런 반응의 불연속적이고 비미분 가능한 성질을 어떻게 다루어 깊은 네트워크에서 효과적인 역전파를 가능하게 할 수 있는가?
• RQ3 노이즈 훈련이 스파이크 기반 통신으로 인한 변동성에 대비해 스파킹 네트워크의 강건성을 얼마나 향상시키는가?
• RQ4 정적 아키텍처에서 동적 스파킹 아키텍처로 전이할 때, 레이트 기반 네트워크와 스파킹 네트워크 간의 성능 격차를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 방법은 MNIST 데이터셋에서 1.63%의 테스트 오차를 기록하여, LIF 뉴런을 사용한 스파킹 네트워크 중 최고의 공개된 결과와 동일한 성능을 달성했다.
• CIFAR-10 데이터셋에서, 이 방법은 1.63%의 테스트 오차를 기록하여, LIF 뉴런을 사용한 스파킹 네트워크 중 최고의 공개된 결과를 기록했다.
• 노이즈 훈련을 통해 스파킹 네트워크의 오차가 노이즈 없이 훈련한 경우 대비 3.4% 감소하여, 스파이크 유도 변동성 완화에 효과적임을 입증했다.
• 부드러운 LIF 반응 함수는 안정적인 역전파를 가능하게 했으며, 부드러운 함수에서 딱딱한 임계값 함수로 전환해도 성능 저하가 최소한이었다.
• 층 간 평균 발화 주파수가 시각 피질의 일반적인 수준을 초과하여, 향후 에너지 소비를 줄이기 위한 희소화 연구에 잠재력이 있다.
• 이 방법은 일반화 가능하며, 현대 뉴로모픽 하드웨어에서 사용되는 다른 뉴런 모델에도 적용 가능할 수 있다.