[논문 리뷰] Fast and deep: energy-efficient neuromorphic learning with first-spike times

Julian Göltz, Laura Kriener외 10명|arXiv (Cornell University)|2019. 12. 24.

Advanced Memory and Neural Computing참고 문헌 78인용 수 18

한 줄 요약

이 논문은 뇌세일즈-2 뉴로모픽 플랫폼에서 하드웨어 유도 왜곡에 대해 강건한 성능을 보이며, 신경전달물질 방출 시간을 이용한 오차 역전파를 가능하게 하는 생물학적으로 영감을 받은 에너지 효율적인 학습 규칙을 제안한다. 이 방법은 오직 전시냅스 및 후시냅스의 스파크 시간만을 사용하여 정확한 학습을 달성하며, 빠르고 저에너지 연산을 가능하게 한다.

ABSTRACT

For a biological agent operating under environmental pressure, energy consumption and reaction times are of critical importance. Similarly, engineered systems also strive for short time-to-solution and low energy-to-solution characteristics. At the level of neuronal implementation, this implies achieving the desired results with as few and as early spikes as possible. In the time-to-first-spike-coding framework, both of these goals are inherently emerging features of learning. Here, we describe a rigorous derivation of learning such first-spike times in networks of leaky integrate-and-fire neurons, relying solely on input and output spike times, and show how it can implement error backpropagation in hierarchical spiking networks. Furthermore, we emulate our framework on the BrainScaleS-2 neuromorphic system and demonstrate its capability of harnessing the chip's speed and energy characteristics. Finally, we examine how our approach generalizes to other neuromorphic platforms by studying how its performance is affected by typical distortive effects induced by neuromorphic substrates.

연구 동기 및 목표

• 첫 스파크 시간을 활용하여 스파킹 신경망에서 에너지 소비와 해답 도달 시간을 최소화하는 학습 규칙을 개발하기 위해.
• 입력 및 출력 스파크 시간만을 사용하여 계층적 스파킹 네트워크에서 오차 역전파를 가능하게 하기 위해.
• BrainScaleS-2 뉴로모픽 하드웨어 플랫폼에 배포된 방법의 실현 가능성과 강건성을 입증하기 위해.
• 일반적인 하드웨어 유도 왜곡 하에서 다양한 뉴로모픽 기반 플랫폼 간의 일반화 성능 평가하기 위해.

제안 방법

• 학습 규칙은 전적으로 원리에서 유도되었으며, 전시냅스 및 후시냅스 뉴런의 첫 스파크 시간만을 사용한다.
• 시냅스 가중치 갱신은 전시냅스 및 후시냅스의 첫 스파크 시간 간의 차이에 기반하여 계산되며, 국소적이고 생물학적으로 타당한 학습을 가능하게 한다.
• 시간-첫 스파크 코딩을 통한 오차 신호 전파를 통해 계층적 네트워크 학습을 지원한다.
• 프레임워크는 BrainScaleS-2 뉴로모픽 시스템에 구현되고 에뮬레이션되어 고속 및 저에너지 특성을 최대한 활용한다.
• 실제 하드웨어 왜곡(예: 시냅스 변동성 및 타이밍 제트) 하에서의 강건성 테스트를 위해 평가된다.

실험 결과

연구 질문

• RQ1 첫 스파크 시간만으로도 스파킹 신경망에서 효과적인 오차 역전파를 지원할 수 있는가?
• RQ2 제안된 학습 규칙은 스파킹 네트워크에서 어떻게 저에너지 및 빠른 추론을 달성하는가?
• RQ3 BrainScaleS-2 뉴로모픽 하드웨어에 배포되었을 때 이 방법의 성능은 어떠한가?
• RQ4 일반적인 기반 유도 왜곡 하에서 이 방법은 다양한 뉴로모픽 플랫폼 간에 어떻게 일반화되는가?
• RQ5 타이밍 제트 및 시냅스 노이즈와 같은 하드웨어 결함이 존재하더라도 학습 규칙이 정확성을 유지할 수 있는가?

주요 결과

• 제안된 학습 규칙은 추가 신호나 복잡한 계산 없이도 계층적 스파킹 네트워크에서 오차 역전파를 성공적으로 구현한다.
• 계산에 필요한 스파크의 수와 타이밍을 최소화함으로써 빠른 학습과 저에너지 소비를 달성한다.
• BrainScaleS-2에서의 에뮬레이션 결과, 칩의 고속 및 에너지 효율성 특성을 효과적으로 활용하여 경쟁 가능한 성능을 달성한다.
• 타이밍 제트 및 시냅스 변동성과 같은 일반적인 뉴로모픽 하드웨어 왜곡 하에서도 이 방법은 강건성을 유지하며, 높은 일반화 잠재력을 보여준다.
• 생물학적 및 공학적 에너지 및 지연 제약 조건과 부합하는 에너지 효율적인 학습 및 추론을 가능하게 한다.