[논문 리뷰] A New Look at Spike-Timing-Dependent Plasticity Networks for Spatio-Temporal Feature Learning

Ali Safa, Ilja Ocket외 4명|Lirias (KU Leuven)|2021. 11. 01.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 이벤트 기반 카메라 데이터로부터 효율적인 시공간 특징 학습을 가능하게 하는, 이론적으로 탄탄한 프레임워크를 제안한다. 스파iking 신경망(SNN)의 스파ike-타이밍-디펜던트 플라스티시티(STDP)를 기반으로 하며, 경험적 초모수 조정을 제거하고 N-MNIST(+9.3%), CIFAR10-DVS(+8.2%), IBM DVS128 Gesture(+7.74%) 데이터셋에서 최신 기술 수준의 정확도를 달성한다. 이는 초저전력 엣지 추론을 가능하게 한다.

ABSTRACT

We present new theoretical foundations for unsupervised Spike-Timing-Dependent Plasticity (STDP) learning in spiking neural networks (SNNs). In contrast to empirical parameter search used in most previous works, we provide novel theoretical grounds for SNN and STDP parameter tuning which considerably reduces design time. Using our generic framework, we propose a class of global, action-based and convolutional SNN-STDP architectures for learning spatio-temporal features from event-based cameras. We assess our methods on the N-MNIST, the CIFAR10-DVS and the IBM DVS128 Gesture datasets, all acquired with a real-world event camera. Using our framework, we report significant improvements in classification accuracy compared to both conventional state-of-the-art event-based feature descriptors (+8.2% on CIFAR10-DVS), and compared to state-of-the-art STDP-based systems (+9.3% on N-MNIST, +7.74% on IBM DVS128 Gesture). Our work contributes to both ultra-low-power learning in neuromorphic edge devices, and towards a biologically-plausible, optimization-based theory of cortical vision.

연구 동기 및 목표

• 이벤트 기반 시각을 위한 고성능 SNN-STDP 네트워크 설계를 위한 원칙적이고 상향식 이론의 부재를 해결하기 위해.
• STDP 기반 SNN에서 시간이 많이 소요되는 경험적 초모수 조정을 제거하기 위해, STDP 매개변수, 뉴런 임계값, 시간 상수 및 학습 종료 조건에 대한 이론적 지침을 유도하기 위해.
• 실세계 이벤트 카메라 데이터로부터 직접 시공간 특징을 학습하는 일반적이고 컨볼루션형, 동작 기반 SNN-STDP 아키텍처를 개발하기 위해.
• 기존 표준 벤치마크에서 최신 기술 수준의 이벤트 기반 기술자 및 SNN-STDP 시스템과의 경쟁적 성능을 입증하기 위해.
• 초저전력 뉴로모픽 엣지 장치에 적합한 프레임워크의 타당성을 검증하기 위한 전력 소비 추정을 제공하기 위해.

제안 방법

• SNN-STDP 학습을 LASSO 코딩을 사용한 공동 사전 학습과 기저 벡터 추구 문제로 공식화하여, STDP 동역학을 최적화 목표와 연결한다.
• 이론적 유도를 통해 STDP가 LASSO를 통한 희박 코딩을 근사하는 조건을 설정함으로써, 원칙적인 매개변수 조정이 가능해진다.
• 희박성 매개변수 μ를 추정하기 위한 아카이케 기반의 추구 알고리즘을 도입하여, 네트워크 초기화 및 학습 종료를 이끌어낸다.
• DVS 카메라에서 유입되는 이벤트 스트림에 STDP 학습을 적용하는 글로벌, 동작 기반, 컨볼루션형 SNN 아키텍처를 활용한다.
• STDP 윈도우 형태, 뉴런 임계값, 시간 상수와 같은 네트워크 매개변수들은 경험적 조정 대신 분석적으로 유도된다.
• μBrain SNN 칩의 하드웨어 메트릭을 사용하여 전력 소비를 추정하며, 동적 스파이크 에너지, 정적 누설 및 SRAM 액세스 비용을 모델링한다.

Figure 1: Illustrative example of DVS camera data. In this conceptual illustration, the DVS is capturing the number ”0”. a) The camera continuously outputs a stream of events in both space and time. b) When the magnitude change $|\Delta L_{ij}|$ in light log-intensity $L_{ij}$ impinging the pixel $(

실험 결과

연구 질문

• RQ1 SNN의 STDP는 LASSO를 통한 희박 코딩과 같은 잘 정의된 최적화 목표와 이론적으로 연결될 수 있는가?
• RQ2 이론적 유도가 SNN-STDP 네트워크에서 경험적 초모수 조정의 필요성을 제거할 수 있는가?
• RQ3 컨볼루션형, 동작 기반 SNN-STDP 아키텍처는 이벤트 기반 시공간 인식 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 프레임워크는 엣지 뉴로모픽 장치에 적합한 초저전력 학습 및 추론을 가능하게 하는가?
• RQ5 제안된 SNN-STDP 시스템의 성능는 기존의 이벤트 기반 기술자 및 이전의 SNN-STDP 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 프레임워크는 이전의 SNN-STDP 시스템 대비 N-MNIST 데이터셋에서 9.3%의 정확도 향상을 달성하여 뚜렷이 뛰어난 성능을 보였다.
• CIFAR10-DVS 데이터셋에서, 이는 기존 최신 기술 수준의 이벤트 기반 기술자 대비 8.2%의 분류 정확도 향상을 이룬다.
• IBM DVS128 Gesture 데이터셋에서는 최신 기술 수준의 STDP 기반 방법 대비 7.74%의 향상을 달성하여 행동 인식에서 강력한 성능을 입증했다.
• 이론적 프레임워크는 STDP 매개변수, 뉴런 임계값 및 시간 상수의 분석적 조정을 가능하게 하여, 시간이 많이 소요되는 경험적 탐색에 대한 의존도를 감소시켰다.
• 전력 소비 추정 결과, N-MNIST 데이터셋에서 STDP 학습 시 5 mW, 추론 시 1 mW로 작동하며, 최신 기술 수준의 SNN-STDP 회로와 유사한 전력 소비 수준을 유지하면서도 더 높은 정확도를 달성했다.
• 이 프레임워크는 STDP를 희박 코딩 및 사전 학습과 연결함으로써, 생물학적으로 타당한 총체적 시각 이론을 기여한다.

Figure 2: Conceptual illustration of the LIF neuron and STDP learning . a) The LIF neuron is connected to a pre-synaptic spiking input $s_{in}$ . When the membrane potential $V$ crosses the threshold $\mu$ , the neuron emits a spike $\sigma=1$ and $V$ is reset to zero. b) The weight $W_{ij}$ is modi