[논문 리뷰] Supervised Spike Agreement Dependent Plasticity for Fast Local Learning in Spiking Neural Networks

Gouri Lakshmi S, Athira Chandrasekharan외 4명|arXiv (Cornell University)|2026. 01. 13.

Advanced Memory and Neural Computing인용 수 0

한 줄 요약

이 논문은 다층 스파이킹 신경망에서 빠르고 로컬한 학습을 위한 Spike Agreement-Dependent Plasticity(SADP)의 감독 학습 확장을 도입하여 CNN+Poisson 인코딩과 Cohen의 kappa 기반 업데이트를 사용하고, 선형 시간 복잡도와 역전파 없이도 경쟁력 있는 정확도를 달성합니다.

ABSTRACT

Spike-Timing-Dependent Plasticity (STDP) provides a biologically grounded learning rule for spiking neural networks (SNNs), but its reliance on precise spike timing and pairwise updates limits fast learning of weights. We introduce a supervised extension of Spike Agreement-Dependent Plasticity (SADP), which replaces pairwise spike-timing comparisons with population-level agreement metrics such as Cohen's kappa. The proposed learning rule preserves strict synaptic locality, admits linear-time complexity, and enables efficient supervised learning without backpropagation, surrogate gradients, or teacher forcing. We integrate supervised SADP within hybrid CNN-SNN architectures, where convolutional encoders provide compact feature representations that are converted into Poisson spike trains for agreement-driven learning in the SNN. Extensive experiments on MNIST, Fashion-MNIST, CIFAR-10, and biomedical image classification tasks demonstrate competitive performance and fast convergence. Additional analyses show stable performance across broad hyperparameter ranges and compatibility with device-inspired synaptic update dynamics. Together, these results establish supervised SADP as a scalable, biologically grounded, and hardware-aligned learning paradigm for spiking neural networks.

연구 동기 및 목표

• SNN에서 감독 학습을 위한 역전파의 빠르고 생물학적으로 타당한 대안을 모티브로 제시합니다.
• 인구 규모의 스파이크 일치 지표를 학습에 활용하는 SADP의 감독 확장을 개발합니다.
• CNN-인코더 전처리와 Poisson 스파이크 인코딩으로 접근법의 확장성을 시연합니다.
• 표준 시각 벤치마크 및 생물 의학 이미지 작업에서 성능을 보여줍니다.
• 데이터셋과 하이퍼파라미터 전반에서 학습 규칙의 로바스트성 및 하드웨어 정합성을 분석합니다.

제안 방법

• 출력층 학습이 로컬 Hebbian 오차 항에 의해 주도되는 감독 SADP 규칙을 제안합니다.
• 숨겨진 층 학습을 위해 쌍 간 스파이크 타이밍 대신 Cohen의 kappa로 정량화된 인구 규모의 합의에 의존합니다.
• SNN 입력으로 원시 특징 또는 CNN에서 추출된 특징에서 파생된 Poisson 인코딩 스파이크를 사용합니다.
• 1SADP(하나의 숨겨진 층) 및 2SADP(두 개의 숨겨진 층) 아키텍처를 strictly local 학습으로 구현합니다.
• 출력층에서만 감독을 적용하고 숨겨진 층에서 kappa 기반 업데이트를 사용하여 로컬성을 유지합니다.
• 쌍별 스파이크-쌍 계산을 피함으로써 시냅스 업데이트의 선형 시간 복잡도를 보장합니다.

(a) FMNIST

실험 결과

연구 질문

• RQ1 역전파 없이 다층 SNN에서 스파이크 합의에 기반한 감독 로컬 학습 규칙(SADP)가 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 CNN+Poisson 인코딩 프런트를 도입하면 복잡하고 컬러 이미지에서 학습과 확장성이 개선되는가?
• RQ3 1SADP 대 2SADP 아키텍처는 감독 SADP 하에서 학습 성능 및 수렴에 있어 어떻게 비교되는가?
• RQ4 시간 창 길이(T) 및 인코딩 방식이 데이터셋 전반에 걸쳐 정확도와 효율성에 어떤 영향을 미치는가?
• RQ5 감독 SADP 접근법은 데이터셋, 하이퍼파라미터 및 하드웨어 영감 업데이트 역학에 대해 로바스트한가?

주요 결과

• CNN+Poisson 인코딩으로 감독 SADP는 데이터셋 전반에서 높은 정확도를 달성합니다: MNIST ≈ 99.16% 및 Fashion-MNIST ≈ 89.9%, CIFAR-10 ≈ 70.7%.
• Poisson-만 인코딩은 MNIST/Fashion-MNIST에서 우수하지만 CIFAR-10에서 현저히 저조하여 복잡한 데이터에 대해 CNN 기반 특징 추출의 필요성을 강조합니다.
• CNN+Poisson 인코딩은 에폭당 학습 시간을 줄이며(약 18–32초), Poisson-만 인코딩에 비해 스파이크 밀도 및 차원 수가 낮아 학습 속도가 빨라집니다(약 230초).
• 1SADP 및 2SADP 아키텍처는 비슷한 성능을 보이며, 일부 데이터셋에서 두 번째 숨겨진 층의 추가 이익은 제한적입니다.
• 이 접근법은 strictly local하고 gradient-free한 학습 규칙에 대해 경쟁력 있는 결과를 내며, CNN+Poisson 인코딩을 사용할 때 생물 의학 영상 작업(예: 조직병리학 및 MRI 데이터셋)에서도 강력한 성능으로 확장됩니다.

Figure 3 : Optimization history plot showing the evolution of validation accuracy across 50 Optuna trials. Blue dots indicate individual trial accuracies, while the orange line represents the cumulative best value. Significant improvements occur around Trials 4, 12–14, and 46–48, reaching a best acc