[논문 리뷰] Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity

Vladimir A. Ivanov, Konstantinos P. Michmizos|arXiv (Cornell University)|2021. 10. 26.

Advanced Memory and Neural Computing참고 문헌 9인용 수 24

한 줄 요약

NALSM은 astrocyte 영감 모듈레이션으로 STDP를 조정하여 액체 상태 머신을 거의 임계역 동역으로 유도하고 MNIST 및 N-MNIST에서 데이터셋 특이 튜닝 없이 최첨단 LSM 정확도 달성, 더 큰 액체로 확장 시에도 경쟁력 있는 성능.

ABSTRACT

The liquid state machine (LSM) combines low training complexity and biological plausibility, which has made it an attractive machine learning framework for edge and neuromorphic computing paradigms. Originally proposed as a model of brain computation, the LSM tunes its internal weights without backpropagation of gradients, which results in lower performance compared to multi-layer neural networks. Recent findings in neuroscience suggest that astrocytes, a long-neglected non-neuronal brain cell, modulate synaptic plasticity and brain dynamics, tuning brain networks to the vicinity of the computationally optimal critical phase transition between order and chaos. Inspired by this disruptive understanding of how brain networks self-tune, we propose the neuron-astrocyte liquid state machine (NALSM) that addresses under-performance through self-organized near-critical dynamics. Similar to its biological counterpart, the astrocyte model integrates neuronal activity and provides global feedback to spike-timing-dependent plasticity (STDP), which self-organizes NALSM dynamics around a critical branching factor that is associated with the edge-of-chaos. We demonstrate that NALSM achieves state-of-the-art accuracy versus comparable LSM methods, without the need for data-specific hand-tuning. With a top accuracy of 97.61% on MNIST, 97.51% on N-MNIST, and 85.84% on Fashion-MNIST, NALSM achieved comparable performance to current fully-connected multi-layer spiking neural networks trained via backpropagation. Our findings suggest that the further development of brain-inspired machine learning methods has the potential to reach the performance of deep learning, with the added benefits of supporting robust and energy-efficient neuromorphic computing on the edge.

연구 동기 및 목표

• LSM 정확도를 백프로그램(backpropagation)이나 데이터셋 특이 튜닝 없이 향상시키는 동기를 부여한다.
• astrocyte 생물학을 활용해 시냅스 가소성과 네트워크 동역학을 조절한다.
• 연산 용량을 최대화하기 위해 LSM 동역학을 칼끝 근처의 혼돈에 가깝게 위치시킨다.
• 더 큰 액체 크기로의 확장성과 희소한 astrocyte 연결성에 대한 강건성을 입증한다.

제안 방법

• 기준 LSM에 LIM astrocyte 모델을 포함시켜 STDP를 확장한다.
• 액체/입력 활동을 바탕으로 STDP 감쇠율을 근접 임계 동역으로 조절하도록 astrocyte를 사용한다.
• 스파이크 개수에서 근사 분기 계수( BF_proxy(t) )를 정의하여 임계 분기 계수를 근사한다.
• 액체의 스파이크-카운트 특징에 대해 출력층을 경사하강법으로 학습한다.
• MNIST와 N-MNIST에서 정확도를 평가하고 같은 조건에서 LSM 변형 및 역전파 기반 네트워크와 비교한다.

실험 결과

연구 질문

• RQ1 astrocyte-modulated STDP가 데이터셋 특이 튜닝 없이도 LSM 동역을 거의 임계의 혼돈의 가장자리로 이끌 수 있는가?
• RQ2 NALSM이 MNIST와 N-MNIST에서 기본 LSM 및 STDP 강화 LSM 변형보다 더 높은 정확도를 달성하는가?
• RQ3 액체 크기와 뉴런-astrocyte 연결성이 성능에 어떤 영향을 미치는가?
• RQ4 NALSM은 임계 분기 계수에 얼마나 근접하게 작동하며, 이것이 커널 품질 및 일반화와 어떻게 관련되는가?

주요 결과

• NALSM은 MNIST에서 97.61%, N-MNIST에서 97.51%의 최고 정확도를 8,000개의 액체로 달성하며, 동일 조건에서 기본 LSM 및 LSM+AP-STDP를 능가한다.
• 1,000개의 뉴런으로도 MNIST 96.15%, N-MNIST 96.13%를 달성하여 LSM, LSM+STDP 및 LSM+AP-STDP를 능가한다.
• 희소한 뉴런-astrocyte 연결성(밀도 10%까지)에서도 정확도 우위를 유지한다.
• 액체가 커질수록 정확도가 향상되며, 약 8,000 뉴런에서 포화되며 Fashion-MNIST(85.84%)에서도 경쟁력을 유지한다.
• 커널 품질(선형 분리 및 일반화)이 더 높은 정확도와 상관관계가 있어 임계 근방의 동역이 LSM에 유익함을 뒷받침한다.