[논문 리뷰] Fast and deep neuromorphic learning with time-to-first-spike coding

Julian Göltz, Andreas Baumbach외 9명|arXiv (Cornell University)|2019. 12. 24.

Advanced Memory and Neural Computing인용 수 17

한 줄 요약

이 논문은 시간-첫-스파이크 코딩을 사용한 스파iking 신경망을 위한 생물학적으로 타당하고 에너지 효율적인 학습 규칙을 제안한다. 이는 빠른 추론과 낮은 에너지 소비를 가능하게 하며, 유한한 시간 상수를 가진 누설 적분-화이어 뉴런에 대해 오차 역전파를 유도하고, 뉴로모픽 하드웨어를 최적화하여 두 세대의 BrainScaleS 뉴로모픽 플랫폼에서 효율적인 학습을 입증한다.

ABSTRACT

For a biological agent operating under environmental pressure, energy consumption and reaction times are of critical importance. Similarly, engineered systems also strive for short time-to-solution and low energy-to-solution characteristics. At the level of neuronal implementation, this implies achieving the desired results with as few and as early spikes as possible. In the time-to-first-spike coding framework, both of these goals are inherently emerging features of learning. Here, we describe a rigorous derivation of error-backpropagation-based learning for hierarchical networks of leaky integrate-and-fire neurons. We explicitly address two issues that are relevant for both biological plausibility and applicability to neuromorphic substrates by incorporating dynamics with finite time constants and by optimizing the backward pass with respect to substrate variability. This narrows the gap between previous models of first-spike-time learning and biological neuronal dynamics, thereby also enabling fast and energy-efficient inference on analog neuromorphic devices that inherit these dynamics from their biological archetypes, which we demonstrate on two generations of the BrainScaleS analog neuromorphic architecture.

연구 동기 및 목표

• 스파킹 신경망에서 시간-첫-스파이크 코딩을 활용하여 빠른 추론과 낮은 에너지 소비를 달성하는 학습 규칙을 개발한다.
• 유한한 시간 상수를 학습 프레임워크에 통합하여 생물학적 뉴런 역학과 뉴로모픽 하드웨어 간 격차를 메운다.
• 아날로그 뉴로모픽 시스템의 기초 변동성에 대응하기 위해 역전파 과정을 최적화하여 내성적 안정성과 효율성을 향상시킨다.
• 생물학적 타당성과 에너지 효율성을 유지하면서도 뉴로모픽 기반에서 계층적 딥 러닝을 가능하게 한다.

제안 방법

• 시간-첫-스파이크 코딩을 사용한 누설 적분-화이어 뉴런의 계층적 네트워크에 대해 오차 역전파를 유도한다.
• 생물학적 및 뉴로모픽 하드웨어 행동을 더 잘 반영하기 위해 뉴런 역학에 유한한 시간 상수를 통합한다.
• BrainScaleS와 같은 아날로그 뉴로모픽 기반에서 내재된 변동성을 고려해 역전파를 최적화한다.
• 첫 스파이크 시점에 초점을 맞춰 스파이크 수와 반응 시간을 자연스럽게 최소화하는 학습 규칙을 도입한다.
• 성능 검증을 위해 두 세대의 BrainScaleS 아날로그 뉴로모픽 아키텍처에 이 프레임워크를 적용한다.
• 학습 규칙이 표준 딥 러닝 최적화 기법과 호환되며, 미분 가능하게 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 시간-첫-스파이크 코딩과 생물학적으로 현실적인 역학을 사용한 스파킹 신경망에 대해 오차 역전파를 엄밀하게 유도할 수 있는가?
• RQ2 유한한 시간 상수를 아날로그 뉴로모픽 하드웨어를 위한 미분 가능한 학습 프레임워크에 어떻게 통합할 수 있는가?
• RQ3 아날로그 뉴로모픽 기반의 하드웨어 변동성에 내성을 갖기 위해 역전파 과정을 어느 정도 최적화할 수 있는가?
• RQ4 제안된 학습 규칙은 BrainScaleS와 같은 아날로그 뉴로모픽 플랫폼에서 빠르고 에너지 효율적인 추론을 가능하게 하는가?
• RQ5 시간-첫-스파이크 코딩 방식은 스파이크 수를 줄이고 반응 시간을 단축시키는 데 어떻게 자연스럽게 기여하는가?

주요 결과

• 제안된 학습 규칙은 시간-첫-스파이크 코딩을 통해 스파이크 수와 반응 시간을 최소화함으로써 빠른 추론을 가능하게 한다.
• 학습 프레임워크에 유한한 시간 상수를 통합함으로써 생물학적 및 뉴로모픽 하드웨어 역학과의 일치도 향상된다.
• 아날로그 뉴로모픽 기반의 하드웨어 변동성에 대응하기 위해 역전파를 최적화함으로써 학습의 안정성과 성능이 향상된다.
• 이 방법은 두 세대의 BrainScaleS 뉴로모픽 플랫폼에서 효과적인 학습을 달성하여 확장성과 내성적 안정성을 입증한다.
• 프레임워크는 조기이고 희소한 스파이크 활동을 선호함으로써 에너지-해결 비용을 자연스럽게 최소화한다.
• 유도된 학습 규칙은 표준 역전파와 호환되며, 아날로그 뉴로모픽 하드웨어에 배포 가능한 것으로 확인된다.