[논문 리뷰] Fast and energy-efficient neuromorphic deep learning with first-spike times

Julian Göltz, Laura Kriener외 10명|arXiv (Cornell University)|2019. 12. 24.

Advanced Memory and Neural Computing참고 문헌 78인용 수 127

한 줄 요약

이 논문은 스파iking 신경망을 위한 생물학적으로 영감을 받은 학습 규칙을 제안하며, 첫 번째 스파이크 시간을 인코딩 방식으로 사용하여 뉴모르픽 하드웨어에서 에너지 효율적이고 빠른 딥 러닝을 가능하게 한다. 유도형 적분-화이어(LIF) 뉴런과 전류 기반 시냅스를 사용할 때 정확한 기울기 계산을 가능하게 하여 계층적 네트워크에서 오차 역전파를 지원하며, BrainScaleS-2 플랫폼에서 MNIST에서 높은 정확도를 달성한다. 분류당 평균 48 µs 및 8.4 µJ 소비를 기록한다.

ABSTRACT

For a biological agent operating under environmental pressure, energy consumption and reaction times are of critical importance. Similarly, engineered systems are optimized for short time-to-solution and low energy-to-solution characteristics. At the level of neuronal implementation, this implies achieving the desired results with as few and as early spikes as possible. With time-to-first-spike coding both of these goals are inherently emerging features of learning. Here, we describe a rigorous derivation of a learning rule for such first-spike times in networks of leaky integrate-and-fire neurons, relying solely on input and output spike times, and show how this mechanism can implement error backpropagation in hierarchical spiking networks. Furthermore, we emulate our framework on the BrainScaleS-2 neuromorphic system and demonstrate its capability of harnessing the system's speed and energy characteristics. Finally, we examine how our approach generalizes to other neuromorphic platforms by studying how its performance is affected by typical distortive effects induced by neuromorphic substrates.

연구 동기 및 목표

• 시간-첫번째-스파이크(TTFS) 인코딩을 사용하여 생물학적으로 타당하고 에너지 효율적인 딥 스파킹 신경망을 위한 학습 규칙을 개발한다.
• 전류 기반(CuBa) 시냅스를 갖는 유도형 적분-화이어(LIF) 뉴런의 계층적 네트워크에서 정확한 오차 역전파를 가능하게 한다.
• 특히 BrainScaleS-2 플랫폼을 통해 이 학습 규칙의 실현 가능성과 효율성을 뉴모르픽 하드웨어에서 입증한다.
• 고정 패턴 노이즈 및 뉴모르픽 기반 소자에서 흔히 발생하는 정밀도 제한과 같은 일반적인 하드웨어 유도 왜곡에 대한 내성 여부를 평가한다.

제안 방법

• CuBa 시냅스를 갖는 LIF 뉴런에서 첫 번째 스파이크 시간에 대한 분석적 표현을 유도하여, 다양한 비용 함수에 대해 정확한 기울기 계산을 가능하게 한다.
• 전조직 및 후조직 스파이크 시간에만 기반한 학습 규칙을 개발하여, 연속적인 뉴런 동역학이 필요 없이 오차 역전파를 수행할 수 있도록 한다.
• TTFS 인코딩을 사용한 계층적 순방향 네트워크에 이 학습 규칙를 적용하며, 클래스 추론은 첫 번째로 발화하는 레이블 뉴런에 의해 결정된다.
• BrainScaleS-2 뉴모르픽 시스템에서 이 프레임워크를 에뮬레이션하여 고속 및 저전력 특성을 활용해 실시간 추론 및 학습을 수행한다.
• 학습 중 하드웨어 피드백을 통합하여 고정 패턴 노이즈 및 파rameter 드리프트와 같은 회로 결함에 암묵적으로 적응하도록 한다.
• 소프트웨어 시뮬레이션을 통해 다양한 기반 유도 왜곡 조건에서 성능을 평가하며, 제한된 정밀도 및 노이즈에 대한 내성 여부를 분석한다.

실험 결과

연구 질문

• RQ1 연속적인 뉴런 동역학을 사용하지 않고도 스파이크 시간만을 기반으로 계층적 스파킹 신경망에서 정확한 오차 역전파를 달성할 수 있는가?
• RQ2 이 학습 규칙이 뉴모르픽 하드웨어에 구현되었을 때 정확도, 속도 및 에너지 효율성 측면에서 성능가능한가?
• RQ3 고정 패턴 노이즈 및 제한된 파rameter 해상도와 같은 일반적인 뉴모르픽 기반 소자에서 발생하는 왜곡에 대해 이 학습 프레임워크는 어느 정도 내성적인가?
• RQ4 TTFS 인코딩 방식과 이 학습 규칙을 조합하여 표준 벤치마크인 MNIST에서 경쟁 가능한 성능을 달성하면서 초저전력 및 초저지연을 유지할 수 있는가?
• RQ5 하드웨어-인-더-루프 적응 메커니즘이 실제 회로 결함이 존재하는 환경에서 학습의 안정성을 어떻게 향상시키는가?

주요 결과

• 제안된 학습 규칙은 LIF 뉴런과 CuBa 시냅스를 갖는 계층적 네트워크에서 스파이크 시간만을 사용하여 정확한 오차 역전파를 가능하게 하며, MNIST에서 높은 정확도를 달성한다.
• BrainScaleS-2 뉴모르픽 플랫폼에서 시스템은 이미지당 48 µs의 분류 시간과 분류당 8.4 µJ의 에너지 소비를 기록한다.
• 추론 속도는 1초당 20,800장의 이미지를 처리하며, 전체 MNIST 테스트 세트(10,000장)의 라운드트립 시간은 데이터 전송 및 처리를 포함해 0.937초이다.
• 네트워크 활동과 관계없이 전력 소비가 거의 일정하게 유지되며(175 mW), 이는 스케일링 시 이벤트 전송 및 시냅스 처리가 무시할 수 있을 정도로 낮다는 것을 시사한다.
• 고정 패턴 노이즈 및 제한된 파rameter 정밀도와 같은 기반 유도 왜곡에 대해 프레임워크가 내성적이며, 다양한 시뮬레이션 조건에서도 성능이 유지됨을 입증하였다.
• PPU를 통한 인공적 리셋을 사용할 경우, 이미지당 분류 시간을 11.8 µs로 단축시켜 처리량을 약 4배로 증가시킬 수 있으며, 전력 소비는 20 mW 증가에 그치지만 성능 향상에 비해 상당히 보정된다.