[논문 리뷰] Spiking Neural Predictive Coding for Continual Learning from Data Streams

Alexander G. Ororbia|arXiv (Cornell University)|2019. 08. 23.

Advanced Memory and Neural Computing참고 문헌 99인용 수 5

한 줄 요약

이 논문은 예측 코드 기반의 스파iking 신경망(SNN)을 이용한 생물학적으로 타당하고 온라인 지속적 학습 프레임워크인 스파킹 신경 코딩(SpNC)을 제안한다. 이는 유연한 적합-검증 메커니즘과 누설 적분-화염(LIF) 뉴런, 그리고 치명적 기억 상실을 감소시키는 새로운 시냅스 갱신 규칙을 활용하며, 전통적인 백프로파게이션 기반 SNN에 비해 경쟁력 있는 분류 성능과 더불어 향상된 계산 효율성과 생물학적 타당성을 달성한다.

ABSTRACT

For energy-efficient computation in specialized neuromorphic hardware, we present spiking neural coding, an instantiation of a family of artificial neural models grounded in the theory of predictive coding. This model, the first of its kind, works by operating in a never-ending process of "guess-and-check", where neurons predict the activity values of one another and then adjust their own activities to make better future predictions. The interactive, iterative nature of our system fits well into the continuous time formulation of sensory stream prediction and, as we show, the model's structure yields a local synaptic update rule, which can be used to complement or as an alternative to online spike-timing dependent plasticity. In this article, we experiment with an instantiation of our model consisting of leaky integrate-and-fire units. However, the framework within which our system is situated can naturally incorporate more complex neurons such as the Hodgkin-Huxley model. Our experimental results in pattern recognition demonstrate the potential of the model when binary spike trains are the primary paradigm for inter-neuron communication. Notably, spiking neural coding is competitive in terms of classification performance and experiences less forgetting when learning from task sequence, offering a more computationally economical, biologically-plausible alternative to popular artificial neural networks.

연구 동기 및 목표

• 지속적이고 실시간 학습에서 표준 인공 신경망의 한계를 해결하기 위해 생물학적으로 타당하고 에너지 효율적인 대안을 개발하기 위해.
• 예측 코드 원리를 스파킹 신경망에 통합하여 인공 신경계와 생물 신경계 계산 간 격차를 메우기 위해.
• 백프로파게이션을 피하고 온라인 학습을 지원하는 국소적이고 점진적인 시냅스 갱신 규칙을 설계하기 위해.
• 순차적 작업 스트림에서 지속적 학습 시나리오에서 모델의 성능을 평가하여 일반화 능력과 기억 상실 완화에 초점을 맞추기 위해.
• 희소한 스파크 기반 통신과 저에너지 계산을 활용하여 뉴로모픽 하드웨어에 효율적으로 구현 가능하게 하기 위해.

제안 방법

• 정보는 정밀한 시간 간격을 통해 스파크 트레인으로 코딩되며, 스파크 활동을 시뮬레이션하기 위해 누설 적분-화염(LIF) 뉴런을 사용한다.
• 신경망은 연속 시간에서 뉴런이 하류 유닛의 활동을 반복적으로 예측하고 보정하는 예측 코드 프레임워크를 구현한다.
• 예측 코드에서 유도된 새로운 국소적 시냅스 갱신 규칙—SpNCN-Lat 및 SpNCN-Buf 버전—은 백프로파게이션 없이도 점진적인 가중치 조정을 가능하게 한다.
• 학습 규칙은 잔차 오차 최소화 과정으로 공식화되며, 예측 오차에 기반하여 시냅스 가중치를 갱신함으로써 지속적 학습을 지원한다.
• 이 프레임워크는 일반적이며, 유연한 계산 아키텍처를 통해 허드킨-후크리 모델과 같은 더 복잡한 뉴런 모델로도 확장 가능하다.
• 학습은 고정된 훈련 윈도우나 배치 처리가 필요 없이 온라인 스트리밍 방식으로 수행된다.

실험 결과

연구 질문

• RQ1 예측 코드 기반의 스파킹 신경망이 백프로파게이션 없이도 지속적 학습에서 경쟁력 있는 분류 성능를 달성할 수 있는가?
• RQ2 순차적 작업에서 제안된 SpNCN 모델은 STDP 기반 SNN에 비해 기억 상실과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ3 SpNCN의 국소적이고 반복적인 갱신 규칙이 스트리밍 데이터 환경에서 안정적이고 점진적인 학습을 얼마나 잘 지원하는가?
• RQ4 모델의 구조와 학습 규칙이 뉴로모픽 시스템에서 에너지 효율성과 생물학적 타당성에 기여하는 방식은 무엇인가?
• RQ5 SpNCN 프레임워크는 LIF 모델을 초월한 더 복잡한 뉴런 역학으로 확장될 수 있는가?

주요 결과

• SpNCN 모델은 순차적 MNIST 및 CIFAR-100 작업에서 경쟁력 있는 분류 정확도를 달성하였으며, STDP로 훈련된 기준 SNN에 비해 일반화 능력에서 뛰어나다.
• SpNCN-Lat 버전은 SpNCN-Buf 및 기타 기준 모델에 비해 치명적 기억 상실이 현저히 적으며, 표현 공간에서 더 명확하고 잘 분리된 클래스 클러스터를 보였다.
• SpNCN-Buf 모델는 더 높은 기억 상실과 더 덜 구조화된 표현을 보였으며, 클러스터가 겹치는 경향을 보여, 지속적 학습에서의 안정성 저하를 확인하였다.
• 제안된 국소적 시냅스 갱신 규칙은 백프로파게이션이나 시간 윈도우가 필요 없이 효과적인 온라인 학습을 가능하게 하여 실시간 뉴로모픽 시스템에 적합하다.
• 희소한 스파크 기반 통신과 국소적 학습 규칙 덕분에 더 나은 계산 경제성과 생물학적 타당성을 보였다.
• 프레임워크는 확장 가능하며, 허드킨-후크리 모델과 같은 더 복잡한 뉴런 모델로도 보존된 핵심 학습 메커니즘을 유지한 채로 적응 가능하다.