[논문 리뷰] Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors

Muir, Dylan|arXiv (Cornell University)|2021. 01. 01.

Advanced Memory and Neural Computing참고 문헌 64인용 수 24

한 줄 요약

이 논문은 혼합 신호 뉴로모픽 하드웨어에서 칩별 校정 없이도 강건한 성능을 달성하는 스파iking 신경망(SNNs)을 위한 지도 학습 방법을 제안한다. 제어 이론에서 유도된 局소 학습 규칙을 사용해 사전 학습된 순환 신경망(RNN)을 모방함으로써, 이 방법은 장치 불일치, 열 노이즈, 양자화에 대해 강건한 SNN을 생성하며, 하드웨어 오버헤드를 최소화한 채 에너지 효율적인 뉴로모픽 칩에 신뢰성 있게 구현할 수 있다.

ABSTRACT

Mixed-signal analog/digital circuits emulate spiking neurons and synapses with extremely high energy efficiency, an approach known as “neuromorphic engineering”. However, analog circuits are sensitive to process-induced variation among transistors in a chip (“device mismatch”). For neuromorphic implementation of Spiking Neural Networks (SNNs), mismatch causes parameter variation between identically-configured neurons and synapses. Each chip exhibits a different distribution of neural parameters, causing deployed networks to respond differently between chips. Current solutions to mitigate mismatch based on per-chip calibration or on-chip learning entail increased design complexity, area and cost, making deployment of neuromorphic devices expensive and difficult. Here we present a supervised learning approach that produces SNNs with high robustness to mismatch and other common sources of noise. Our method trains SNNs to perform temporal classification tasks by mimicking a pre-trained dynamical system, using a local learning rule from non-linear control theory. We demonstrate our method on two tasks requiring temporal memory, and measure the robustness of our approach to several forms of noise and mismatch. We show that our approach is more robust than common alternatives for training SNNs. Our method provides robust deployment of pre-trained networks on mixed-signal neuromorphic hardware, without requiring per-device training or calibration.

연구 동기 및 목표

• 혼합 신호 뉴로모픽 프로세서에서 발생하는 장치 불일치 문제를 해결함으로써, 칩 간 성능 저하를 방지한다.
• 장치별 캘리브레이션 또는 칩 내 학습이 필요 없도록, 매개변수 변동에 내재적으로 강건한 SNN을 학습함으로써 비용을 절감한다.
• 후처리 적응 없이도 사전 학습된 SNN을 뉴로모픽 하드웨어에 신뢰성 있게 배포할 수 있도록 한다.
• 지식 정복과 국소 학습 규칙을 융합한 학습 프레임워크를 개발하여 시간 분류 과제를 해결한다.

제안 방법

• 목표 시간 분류 또는 회귀 과제를 해결하기 위해, 백프로파게이션 스트림(Back-Propagation Through Time, BPTT)을 사용해 비스파크 레이트 RNN을 학습한다.
• RNN의 내부 역학을 교사 시스템으로 삼아, 비선형 제어 이론에서 영감을 얻은 국소 학습 규칙을 통해 스파킹 신경망(SNN)을 학습한다.
• 누설 적분-화이어(LIF) 뉴런과 균형 잡힌 빠른/느린 피드백 가중치를 갖춘 SNN을 구현하여 안정성과 강건성을 확보한다.
• SNN의 출력과 교사 RNN의 은닉 상태 간 차이를 최소화하기 위해 감쇠하는 피드백 속도를 사용해 피드백 오차 보정을 적용한다.
• 지식 정복을 통해 SNN이 RNN의 은닉 상태 역학을 재현하도록 학습시켜, 과제 성능이 유지되도록 보장한다.
• 장치 불일치, 열 노이즈, 양자화를 시뮬레이션하기 위해 학습 중 노이즈를 주입하여 하드웨어의 비완전성에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 지속적인 캘리브레이션 없이도 장치 불일치에 강건한 SNN을 생성할 수 있는 지도 학습 방법이 가능한가?
• RQ2 매개변수 변동과 노이즈에 대한 강건성 측면에서, 제안된 방법은 기존 SNN 학습 접근법보다 어떻게 비교되는가?
• RQ3 레이트 RNN으로부터의 지식 정복은 하드웨어에 의한 노이즈가 존재하는 상황에서도 SNN이 시간 과제에서 높은 성능을 유지하는 데 얼마나 기여하는가?
• RQ4 제어 이론에서 유도된 국소 학습 규칙을 사용하면, 임의의 지도 학습 과제에 대해 SNN의 효과적인 학습이 가능한가?
• RQ5 실제 혼합 신호 뉴로모픽 하드웨어에서 알려진 매개변수 불일치가 존재하는 상황에서도, 최종적으로 유도된 SNN은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 기존 SNN 학습 방법에 비해 장치 불일치에 대해 훨씬 더 높은 강건성을 보이며, 최대 20%까지의 불일치에 대해 성능 저하가 최소화된다.
• 이 방법으로 학습된 SNN은 시냅스 가중치가 2비트로만 양자화된 경우에도 높은 정확도를 유지하여, 저정밀도 구현에 대한 강건성을 입증한다.
• 열 노이즈에 대해서도 강건하며, 고수준의 노이즈(σ = 0.1)에서도 성능 저하가 낮게 유지되어 실제 하드웨어에 적합함을 시사한다.
• 40%의 뉴런이 비활성화된 상태에서도 SNN은 안정적이고 정확하여, 뉴런 마비 및 하드웨어 고장에 대한 강건성을 보여준다.
• DYNAP™-SE1 뉴로모픽 하드웨어에 배포할 경우, 동적 전력 7.6 µW, 정적 전력 30 µW로 초저전력 소비를 달성한다.
• 모든 테스트 노이즈 조건(불일치, 양자화, 열 노이즈)에서 기준 방법보다 뛰어난 성능을 보이며, 일반화 능력을 확인한다.