[논문 리뷰] Online Training Through Time for Spiking Neural Networks

Mingqing Xiao, Qingyan Meng외 3명|arXiv (Cornell University)|2022. 10. 09.

Advanced Memory and Neural Computing인용 수 29

한 줄 요약

논문은 SNN용 Online Training Through Time (OTTT)을 도입하여 시간 순으로 앞으로의 학습을 가능하게 하고 일정한 메모리로 유지하며 BPTT를 surrogate gradient와 스파이크 표현과 연결하고 이론적 하강 보장과 Hebbian-like 업데이트를 뒷받침합니다.

ABSTRACT

Spiking neural networks (SNNs) are promising brain-inspired energy-efficient models. Recent progress in training methods has enabled successful deep SNNs on large-scale tasks with low latency. Particularly, backpropagation through time (BPTT) with surrogate gradients (SG) is popularly used to achieve high performance in a very small number of time steps. However, it is at the cost of large memory consumption for training, lack of theoretical clarity for optimization, and inconsistency with the online property of biological learning and rules on neuromorphic hardware. Other works connect spike representations of SNNs with equivalent artificial neural network formulation and train SNNs by gradients from equivalent mappings to ensure descent directions. But they fail to achieve low latency and are also not online. In this work, we propose online training through time (OTTT) for SNNs, which is derived from BPTT to enable forward-in-time learning by tracking presynaptic activities and leveraging instantaneous loss and gradients. Meanwhile, we theoretically analyze and prove that gradients of OTTT can provide a similar descent direction for optimization as gradients based on spike representations under both feedforward and recurrent conditions. OTTT only requires constant training memory costs agnostic to time steps, avoiding the significant memory costs of BPTT for GPU training. Furthermore, the update rule of OTTT is in the form of three-factor Hebbian learning, which could pave a path for online on-chip learning. With OTTT, it is the first time that two mainstream supervised SNN training methods, BPTT with SG and spike representation-based training, are connected, and meanwhile in a biologically plausible form. Experiments on CIFAR-10, CIFAR-100, ImageNet, and CIFAR10-DVS demonstrate the superior performance of our method on large-scale static and neuromorphic datasets in small time steps.

연구 동기 및 목표

• 지연이 작고 온라인 학습 특성을 갖는 SNN의 효율적인 학습 동기를 제공합니다.
• 성능을 유지하면서 BPTT의 높은 메모리 비용을 피하는 학습 방법을 개발합니다.
• OTTT와 spike-표현 기반 방법 간의 이론적 연결을 확립하여 하강 방향을 보장합니다.
• 온칩 학습을 위한 생물학적으로 타당한 세 가지 요인 Hebbian 학습과 OTTT의 정합성을 보여줍니다.
• 대규모 정적 및 신경형 데이터셋에서 효과를 시연합니다.

제안 방법

• 시간 의존성을 분리하고 시냅스 전 활동을 추적하여 순방향 학습에서 그레이디언트를 계산하도록 하여 BPTT로부터 OTTT를 도출합니다.
• 각 시간 스텝에서 순간 손실과 그레이디언트를 계산하여 시간 역전파를 피합니다.
• 전방향 및 순환 조건에서 OTTT 그레이디언트가 spike 표현 기반 그레이디언트와 유사한 하강 방향을 제공함을 보입니다.
• 업데이트를 세 가지 요인 Hebbian 학습 규칙으로 형식화하여 온칩 온라인 학습이 가능하도록 합니다.
• 노 배치 정규화(noBatchNorm)와 스케일드 가중치 표준화(sWS)를 사용하여 신경형 하드웨어에서 정규화 없는 학습을 지원합니다.
• 온라인(OTTT O) 및 누적 그레이디언트(OTTT A) 변형과 자세한 구현 지침을 제공합니다.

실험 결과

연구 질문

• RQ1 SNN에 대한 온라인 순방향 학습이 BPTT와 비교해 일정한 메모리 비용으로 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 OTTT 그레이디언트가 전방향 및 순환 다이나믹에서 spike 표현으로부터 유도된 그레이디언트와 유사한 하강 방향을 제공하는가?
• RQ3 OTT T가 온칩 학습에 적합한 생물학적으로 타당한 세 가지 요인 Hebbian 업데이트 체계와 호환되는가?
• RQ4 낮은 시간 스텝 지연에서 대규모 정적 및 신경형 데이터셋에서 OTTT의 성능은 어떠한가?

주요 결과

• OTTT는 CIFAR-10, CIFAR-100, ImageNet, CIFAR10-DVS에서 소수의 시간 스텝으로 경쟁력 있는 정확도를 달성합니다.
• OTTT는 시간 스텝에 따른 선형 증가(BPTT)에서 일정한 메모리 비용으로 학습 메모리를 감소시켜 같은 자원에서 더 큰 배치 크기를 가능하게 합니다.
• 이론적 분석은 OTTT 그레이디언트가 수렴 입력에서 순방향 및 순환 네트워크 모두에 대해 spike 표현 기반 그레이디언트와 비교 가능한 하강 방향을 제공함을 보여줍니다.
• OTTT 업데이트는 세 가지 요인 Hebbian 학습 규칙으로 간주될 수 있으며, 신경형 하드웨어에서의 온라인 온칩 학습 가능성을 시사합니다.
• 다수의 경우 6개 시간 스텝만으로도 여러 기준선들(BPTT 변형 포함)에 비해 강한 성능 우위를 실증적으로 보여줍니다.
• 이 방법은 BPTT와 SG 및 spike-표현 기반 학습 사이의 다리를 놓으면서 신경형 시스템에 적합한 온라인 학습을 유지합니다.