[논문 리뷰] Addressing the speed-accuracy simulation trade-off for adaptive spiking neurons

Luke Taylor, Andrew J. King외 1명|arXiv (Cornell University)|2023. 11. 19.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 적응형 누출된 적분-화염(ADIF) 스파iking 뉴런 모델의 알고리즘 재구성 방법을 제안하여 순차적 시뮬레이션 복잡도를 O(T)에서 O(T/TR)로 감소시켜 최대 53배 빠른 훈련과 40배 빠른 추론을 가능하게 하며 높은 정확도를 유지한다. 절대 회복 기간(ARP)을 활용함으로써 GPU 병렬 처리가 효율적으로 가능해져 생물학적으로 타당한 신경망 모델의 훈련 및 피팅 속도를 크게 향상시키며, 마이크로초 수준의 시간 해상도를 확보할 수 있다.

ABSTRACT

The adaptive leaky integrate-and-fire (ALIF) model is fundamental within computational neuroscience and has been instrumental in studying our brains $ extit{in silico}$. Due to the sequential nature of simulating these neural models, a commonly faced issue is the speed-accuracy trade-off: either accurately simulate a neuron using a small discretisation time-step (DT), which is slow, or more quickly simulate a neuron using a larger DT and incur a loss in simulation accuracy. Here we provide a solution to this dilemma, by algorithmically reinterpreting the ALIF model, reducing the sequential simulation complexity and permitting a more efficient parallelisation on GPUs. We computationally validate our implementation to obtain over a $50 imes$ training speedup using small DTs on synthetic benchmarks. We also obtained a comparable performance to the standard ALIF implementation on different supervised classification tasks - yet in a fraction of the training time. Lastly, we showcase how our model makes it possible to quickly and accurately fit real electrophysiological recordings of cortical neurons, where very fine sub-millisecond DTs are crucial for capturing exact spike timing.

연구 동기 및 목표

• 생물학적 모델링에서 요구하는 미세한 시간 간격(DT)을 위해 오랫동안 지속된 속도-정확도 트레이드오프 문제를 해결하기 위해.
• 현재 GPU에서 훈련 및 추론 속도를 제한하는 ALIF 뉴런 시뮬레이션의 순차적 계산 복잡도를 감소시키기 위해.
• 정확한 스파이크 타이밍을 포착하기 위해 필수적인 마이크로초 수준의 시간 간격을 사용하여 실제 전기생리학적 기록에 대한 빠르고 정확한 피팅을 가능하게 하기 위해.
• 시뮬레이션 정밀도를 유지하면서도 특히 대규모 SNN 및 데이터 피팅 작업에서 훈련 및 추론 시간을 크게 줄일 수 있는 방법을 개발하기 위해.

제안 방법

• 절대 회복 기간(TR) 길이 동안 일정한 순차적 복잡도 O(1)를 갖는 ALIF 모델을 재구성함으로써 시뮬레이션 길이 T에 대해 총 복잡도를 O(T/TR)로 감소시킨다.
• 신경망이 회복 기간 내에 두 번 이상 발화할 수 없도록 하는 생물학적 제약 조건을 활용하여, 회복 창을 넘은 시간 단계를 병렬 처리할 수 있도록 한다.
• GPU 가속 연산을 사용하여 재구성된 ALIF 모델을 구현함으로써 뉴런 및 레이어의 효율적 배치 처리를 가능하게 한다.
• 표면 기울기 경량화를 사용하여 표준 딥러닝 워크플로우와 호환되면서도 높은 속도 향상을 달성한다.
• ARP를 학습 가능한 또는 고정된 하이퍼파rameter로 정의하여 속도, 정확도, 생물학적 타당성 간의 균형 조절을 가능하게 한다.
• 합성 벤치마크, 지도 학습 분류 작업, 쥐의 V1에서의 실제 콜로탈 뉴런 기록을 사용하여 방법을 검증한다.

Figure 1: Problem overview. a. Schematic of an ALIF neuron: input current $I$ charges membrane potential $V$ and outputs spikes $S$ if firing threshold is reached (with the neuron’s internal state evolving over time). b. An example of the simulation trade-off problem when simulating a single ALIF ne

실험 결과

연구 질문

• RQ1 미세한 시간 해상도에서 시뮬레이션 정확도를 훼손하지 않고 ALIF 뉴런의 순차적 시뮬레이션 복잡도를 감소시킬 수 있는가?
• RQ2 절대 회복 기간을 활용하면 GPU에서 스파iking 신경망의 훈련 및 추론 속도에 상당한 향상을 이룰 수 있는가?
• RQ3 재구성된 ALIF 모델이 표준 ALIF 모델과 유사한 분류 성능을 달성하면서도 훈련 시간을 50배 이상 단축시킬 수 있는가?
• RQ4 스파이크 타이밍 정밀도가 중요한 마이크로초 수준의 시간 해상도에서 실제 전기생리학적 기록에 대해 정확한 피팅이 가능한가?
• RQ5 ARP 길이의 선택이 훈련 속도, 시뮬레이션 정확도, 생물학적 타당성 간의 균형에 어떻게 영향을 주는가?

주요 결과

• 제안된 방법은 표준 ALIF 모델 대비 최대 53배 빠른 훈련과 40배 빠른 추론을 달성했으며, 시간적 스파이크 분류 데이터셋에서 동일한 분류 정확도를 유지했다.
• 쥐의 V1에서의 실제 콜로탈 뉴런 기록에 대해, DT = 0.1 ms에서 표준 모델과 유사한 피팅 품질(ETV ≈ 0.80)을 달성했지만, 평균 피팅 시간을 108.4초에서 15.5초로 감소시켰다.
• 큰 비생물학적 ARP 값(예: 4 ms)을 사용할 때도 높은 정확도를 유지하여 하이퍼파rameter 조정에서의 강건성과 유연성을 입증했다.
• DT를 0.1 ms에서 4 ms로 증가시킬 경우 정확도가 크게 떨어졌지만(ETV 0.80에서 0.66로), 고정된 DT = 0.1 ms에서 ARP를 증가시킬 경우 정확도가 안정적으로 유지되어 메서드의 ARP 변화에 대한 내성성을 확인했다.
• V1 뉴런의 이질적인 막 시간 상수에 대해 정확한 피팅이 가능했으며, 이는 시각 피질에서 다중 시간 상수 처리가 존재할 가능성을 시사하며, 최소한의 계산 비용으로 이를 달성했다.

Figure 2: Solution overview . a. Our proposed solution: instead of simulating network dynamics one time step after another (top), we sequentially simulate blocks of time equal in length to the neuron ARP (bottom), in which a neuron can spike at most once. b. A schematic of a Block: our proposed solu