[논문 리뷰] PC-SNN: Predictive Coding-based Local Hebbian Plasticity Learning in Spiking Neural Networks

Wang, Haidong, Xiaogang Xiong외 6명|arXiv (Cornell University)|2022. 11. 24.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 예측 코딩 이론을 활용하여 전역적 백프로파게이션 또는 피드백 네트워크 없이도 종단 간 훈련이 가능한 생물학적으로 타당한 지도 학습 알고리즘인 PC-SNN을 제안한다. 이 알고리즘은 국소적 헤브시안 플라스티시티만을 사용하며, N-MNIST에서 98.5%의 최고 성능을 기록하여, 뉴모르픽 하드웨어와 호환되는 효율적이고 저전력의 학습을 가능하게 한다.

ABSTRACT

Spiking Neural Networks (SNNs), regarded as the third generation of neural networks, emulate the brain's information processing with unparalleled biological plausibility compared to traditional neural networks. However, their non-linear, event-driven dynamics pose significant challenges for training, and existing methods often deviate from neuroscientific principles of cortical learning. Drawing inspiration from predictive coding theory-a leading model of brain information processing-we propose PC-SNN, a novel learning framework that integrates predictive coding with SNNs to enable biologically plausible, local Hebbian plasticity without reliance on backpropagation. Unlike conventional SNN training approaches, PC-SNN leverages only local computations, aligning with the brain's distributed processing and overcoming the biological implausibility of global error propagation. Our classification model achieves competitive performance on the benchmark datasets, including Caltech Face/Motorbike, MNIST, and CIFAR10, surpassing state-of-the-art multi-layer SNNs. Furthermore, our predictive coding-based regression model outperforms backpropagation-based methods while adhering to local plasticity constraints, offering a scalable and biologically grounded alternative for SNN training. PC-SNN drives progress in neuromorphic computing through validating the adaptability of bio-inspired algorithms within spiking neural architectures, but also unveils novel understandings of neurocognitive learning processes, presenting a conceptual framework distinguished by its theoretical originality and functional efficacy.

연구 동기 및 목표

• 전역적 백프로파게이션을 피하는 생물학적으로 타당하고 국소적인 학습 규칙을 개발하여 지도 학습을 위한 SNN 훈련을 가능하게 한다.
• 비가역적인 스파이크 함수와 높은 계산 비용 등의 문제로 인해 제한을 받는 기존 기울기 기반 방법의 한계를 극복한다.
• 전신의 오차 신호나 피드백 네트워크 없이도 예측된 전후 시냅스 활동만을 사용하여 종단 간 훈련을 가능하게 한다.
• 최소한의 아키텍처 복잡성으로도 MNIST 및 N-MNIST와 같은 기준 데이터셋에서 경쟁 가능한 성능을 보여준다.
• 뉴모르픽 하드웨어에서 칩 내 학습을 위한 기반을 제공한다.

제안 방법

• 해당 방법은 각 뉴런에서 예측 오차를 계산하기 위해 예측 코딩 프레임워크를 활용하며, 이를 통해 국소적으로 시냅스 가중치를 갱신한다.
• 시냅스 플라스티시티는 전후 시냅스 활동에 의해 구동되며, 전역 오차 신호나 피드백 네트워크가 필요로 하지 않는다.
• 즉각적인 시냅스 전류(I.S.C)를 갖는 단순화된 IF 뉴런 모델을 사용하며, 에너지 소모를 줄이기 위해 각 입력에 대해 뉴런당 최대 한 번의 스파이크만 허용한다.
• 가중치 갱신은 전시냅스 활동과 후시냅스 뉴런의 예측 오차의 곱에 기반한 국소적 헤브시안 규칙을 통해 계산된다.
• 훈련 과정은 전적으로 종단 간이며, 별도의 사전 훈련 또는 미세 조정 단계가 필요로 하지 않는다.
• 네트워크 아키텍처는 완전 연결이며, 출력 뉴런의 평균-제곱오차 합(MSSE)의 반복적 최소화를 통해 수렴한다.

실험 결과

연구 질문

• RQ1 예측 코딩을 활용하여 백프로파게이션 없이 생물학적으로 타당하고 국소적인 학습을 SNN에서 실현할 수 있는가?
• RQ2 순수한 국소적 헤브시안 규칙이 기존 최고 수준의 SNN 성능을 달성할 수 있는가?
• RQ3 피드백 네트워크를 제거함으로써 뉴모르픽 하드웨어에서 칩 내 학습과의 호환성이 향상되는가?
• RQ4 전역 오차 신호가 없는 조건에서 깊이와 파rameter 수에 따라 네트워크 성능가 어떻게 변화하는가?
• RQ5 입력당 한 번의 스파이크 제약 조건이 정확도를 저하시키지 않으면서 에너지 효율성을 향상시킬 수 있는가?

주요 결과

• PC-SNN은 Caltech Face/Motorbike 데이터셋에서 99.25%의 테스트 정확도를 기록하여, 많은 기존 SNN 방법들을 능가했다.
• ETH-80 데이터셋에서는 84.25%의 정확도를 달성하여 자연 이미지 인식 작업에서 강력한 일반화 능력을 보였다.
• MNIST 데이터셋에서 PC-SNN은 단순화된 뉴런 모델을 사용했음에도 불구하고 98.1%의 정확도를 기록하여 뛰어난 성능을 보였다.
• N-MNIST 뉴모르픽 데이터셋에서는 98.5%의 정확도를 기록하여 문헌상 최고 수준의 결과를 달성하거나 초월했다.
• 출력 오차 뉴런의 MSSE는 에포크가 진행되면서 단조롭게 감소하며 거의 0에 수렴함으로써 효과적인 오차 최소화가 이루어졌음을 나타냈다.
• 3층 네트워크는 2층 버전보다 더 높은 정확도를 기록했지만, 파라미터 수가 적어 더 빠르게 수렴하였다.