[논문 리뷰] BioGrad: Biologically Plausible Gradient-Based Learning for Spiking Neural Networks
BioGrad는 신경형 컴퓨팅 원칙을 준수하면서 백프로파게이션과 동일한 성능를 달성하는 생물학적으로 타당한 기울기 기반 학습 알고리즘을 제안한다: 이벤트 기반, 국소적, 온라인 계산. 다세포 뉴런과 국소 적성 추적을 사용하며, 피드백 및 피드포워드 가중치를 정렬하기 위해 주기적인 '수면' 단계를 도입하여, GPU 기반 학습 대비 샘플당 에너지 소비를 400배 낮춘 뉴모르픽 하드웨어에서 학습이 가능하게 한다.
Spiking neural networks (SNN) are delivering energy-efficient, massively parallel, and low-latency solutions to AI problems, facilitated by the emerging neuromorphic chips. To harness these computational benefits, SNN need to be trained by learning algorithms that adhere to brain-inspired neuromorphic principles, namely event-based, local, and online computations. Yet, the state-of-the-art SNN training algorithms are based on backprop that does not follow the above principles. Due to its limited biological plausibility, the application of backprop to SNN requires non-local feedback pathways for transmitting continuous-valued errors, and relies on gradients from future timesteps. The introduction of biologically plausible modifications to backprop has helped overcome several of its limitations, but limits the degree to which backprop is approximated, which hinders its performance. We propose a biologically plausible gradient-based learning algorithm for SNN that is functionally equivalent to backprop, while adhering to all three neuromorphic principles. We introduced multi-compartment spiking neurons with local eligibility traces to compute the gradients required for learning, and a periodic "sleep" phase to further improve the approximation to backprop during which a local Hebbian rule aligns the feedback and feedforward weights. Our method achieved the same level of performance as backprop with multi-layer fully connected SNN on MNIST (98.13%) and the event-based N-MNIST (97.59%) datasets. We deployed our learning algorithm on Intel's Loihi to train a 1-hidden-layer network for MNIST, and obtained 93.32% test accuracy while consuming 400 times less energy per training sample than BioGrad on GPU. Our work shows that optimal learning is feasible in neuromorphic computing, and further pursuing its biological plausibility can better capture the benefits of this emerging computing paradigm.
연구 동기 및 목표
- 백프로파게이션과 기능적으로 동일한 성능를 보이지만 뉴모르픽 컴퓨팅 원칙을 준수하는 SNN용 기울기 기반 학습 규칙을 개발하는 것.
- 기본 백프로파게이션의 생물학적 비현실성 문제를 해결하기 위해 국소적이지 않은 피드백, 연속적인 오차 신호, 미래 타임스텝 의존성 등의 문제를 해결하는 것.
- 이벤트 기반, 국소적, 온라인 계산을 보장함으로써 뉴모르픽 하드웨어에 직접 학습을 구현할 수 있도록 하는 것.
- 주기적인 '수면' 단계를 통해 국소 헤브시안 규칙을 적용하여 피드백 및 피드포워드 가중치 간의 정렬을 향상시키는 것.
- 생물학적으로 타당한 학습이 MNIST 및 N-MNIST와 같은 SNN 벤치마크에서 최신 기술 수준의 성능를 달성할 수 있음을 입증하는 것.
제안 방법
- 다양한 시냅스 입력을 별도의 dendritic 구역으로 분리하여 피드포워드 및 피드백 입력을 국소적으로 계산할 수 있도록 하는 다세포 스파iking 뉴런을 사용한다.
- 각 뉴런 내부에서 국소적으로 적성 추적을 계산하여 전후 시냅스 활동의 시간적 변화를 캡처함으로써 시간에 따른 책임 할당을 가능하게 한다.
- 주기적인 '수면' 단계 동안 국소 헤브시안 규칙을 적용하여 피드백 가중치를 피드포워드 가중치와 정렬함으로써 기울기 근사치를 향상시킨다.
- 무작위 피드백 가중치(RandInit)를 사용함으로써 뇌의 상游 및 하류 경로가 동일하지 않은 것을 모방하여 생물학적 타당성을 향상시킨다.
- 배치 처리가 불필요하고 정밀도가 낮은 학습 환경에서도 강건한 학습 규칙을 설계하여 뉴모르픽 하드웨어의 제약 조건에 적합하도록 한다.
- 메서드는 인텔의 로이히 프로세서에 구현되었으며, 샘플당 에너지 소비를 크게 줄이며 높은 정확도를 달성했다.
실험 결과
연구 질문
- RQ1SNN용 기울기 기반 학습 규칙이 백프로파게이션과 기능적으로 동일할 뿐 아니라 생물학적으로 타당한가?
- RQ2비국소적 정보나 연속적인 오차 신호 없이 피드백 가중치 정렬을 어떻게 달성할 수 있는가?
- RQ3주기적인 '수면' 단계가 생물학적으로 타당한 방식으로 백프로파게이션 근사치를 향상시킬 수 있는가?
- RQ4이 메서드는 저정밀도 및 스트리밍 데이터 환경에서 뉴모르픽 하드웨어에 얼마나 잘 구현될 수 있는가?
- RQ5무작위 피드백 가중치 사용이 성능를 유지하면서 생물학적 타당성을 높일 수 있는가?
주요 결과
- BioGrad는 MNIST에서 98.13%의 정확도, 이벤트 기반 N-MNIST 데이터셋에서 97.59%의 정확도를 기록하여 표준 백프로파게이션과 동일한 성능를 달성했다.
- 수면 단계의 포함으로 피드백 및 피드포워드 가중치 간의 정렬이 크게 향상되었으며, 가중치 행렬 간의 각도 감소와 가중치 크기 상관관계 증가로 측정되었다.
- 무작위로 초기화된 피드백 가중치(RandInit) 조건에서도 BioGrad는 높은 성능를 유지하여 강건성과 생물학적 타당성 향상을 입증했다.
- 낮은 빈도로도 수면 단계가 효과적이었으며, 256배치마다 수면을 적용한 경우 MNIST에서 98.21%의 정확도를 기록하여 희소하지만 장시간의 수면 사이클만으로도 충분함을 보여주었다.
- 인텔의 로이히 뉴모르픽 프로세서에 구현된 결과, BioGrad는 MNIST에서 테스트 정확도 93.32%를 달성했으며, GPU 기반 BioGrad 대비 샘플당 에너지 소비를 400배 낮췄다.
- 비배치 및 저정밀도 학습 환경에서도 강건성을 입증하여 실시간, 에너지 효율적인 뉴모르픽 추론 및 학습에 적합함을 확인했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.