[論文レビュー] Increasing Liquid State Machine Performance with Edge-of-Chaos Dynamics Organized by Astrocyte-modulated Plasticity

Vladimir A. Ivanov, Konstantinos P. Michmizos|arXiv (Cornell University)|Oct 26, 2021

Advanced Memory and Neural Computing参考文献 9被引用数 24

ひとこと要約

NALSMは、星状細胞に着想を得たSTDPの調節を用いてリキッド状態機械を準臨界ダイナミクスへと誘導し、MNISTおよびN-MNISTでデータセット特異の調整なしに最先端のLSM精度を達成し、より大きなリキッドへスケールしても競争力のある性能を発揮します。

ABSTRACT

The liquid state machine (LSM) combines low training complexity and biological plausibility, which has made it an attractive machine learning framework for edge and neuromorphic computing paradigms. Originally proposed as a model of brain computation, the LSM tunes its internal weights without backpropagation of gradients, which results in lower performance compared to multi-layer neural networks. Recent findings in neuroscience suggest that astrocytes, a long-neglected non-neuronal brain cell, modulate synaptic plasticity and brain dynamics, tuning brain networks to the vicinity of the computationally optimal critical phase transition between order and chaos. Inspired by this disruptive understanding of how brain networks self-tune, we propose the neuron-astrocyte liquid state machine (NALSM) that addresses under-performance through self-organized near-critical dynamics. Similar to its biological counterpart, the astrocyte model integrates neuronal activity and provides global feedback to spike-timing-dependent plasticity (STDP), which self-organizes NALSM dynamics around a critical branching factor that is associated with the edge-of-chaos. We demonstrate that NALSM achieves state-of-the-art accuracy versus comparable LSM methods, without the need for data-specific hand-tuning. With a top accuracy of 97.61% on MNIST, 97.51% on N-MNIST, and 85.84% on Fashion-MNIST, NALSM achieved comparable performance to current fully-connected multi-layer spiking neural networks trained via backpropagation. Our findings suggest that the further development of brain-inspired machine learning methods has the potential to reach the performance of deep learning, with the added benefits of supporting robust and energy-efficient neuromorphic computing on the edge.

研究の動機と目的

• バックプロパゲーションやデータセット特異のチューニングを用いずにLSMの精度を向上させる動機づけ。
• 星状細胞の生物学を活用してシナプス可塑性とネットワークダイナミクスを調節する。
• LSMダイナミクスをエッジ・オブ・カオス近傍に配置して計算能力を最大化する。
• より大きなリキッドサイズへのスケーラビリティと、疎な星状細胞接続に対するロバスト性を示す。

提案手法

• LIM星状細胞モデルを埋め込むことで、STDPを備えたベースラインLSMを拡張する。
• 星状細胞を用いてリキッド/入力活動に基づきSTDPの抑制率を調節し、準臨界ダイナミクスへと導く。
• スパイク数から臨界分岐因子を近似する代理分岐因子BF_proxy(t)を定義する。
• リキッド由来のスパイク数特徴に基づいて出力層を勾配降下法で訓練する。
• MNISTおよびN-MNISTで精度を評価し、LSM系のバリエーションおよびバックプロパゲーションベースのネットワークと比較する。

実験結果

リサーチクエスチョン

• RQ1 星状細胞モジュレートSTDPは、データセット特異の調整なしにLSMのダイナミクスを準臨界のエッジ・オブ・カオス挙動へ導くことができるか？
• RQ2 NALSMはMNISTおよびN-MNISTで、ベースラインLSMおよびSTDP強化LSMバリアントより高い精度を達成するか？
• RQ3 リキッドサイズとニューロン-星状細胞接続の有効性が性能に与える影響はどのようなものか？
• RQ4 NALSMは臨界分岐因子に対してどれくらい近い動作をし、これがカーネル品質および一般化能力にどう関連するか？

主な発見

• NALSMは8,000リキッドでMNISTは97.61％、N-MNISTは97.51％の最高精度を達成し、同条件下でベースラインLSMおよびLSM+AP-STDPを上回る。
• 1,000ニューロンでは、NALSMは96.15％（MNIST）および96.13％（N-MNIST）に達し、LSM、LSM+STDP、LSM+AP-STDPを上回る。
• NALSMは10%密度までの疎なニューロン-星状細胞接続でも精度の優位性を維持する。
• リキッドが大きくなると精度が向上し、約8,000ニューロンで飽和し、Fashion-MNISTでも競争力を維持する（85.84%）。
• カーネル品質（線形分離と一般化）は精度の向上と相関し、準臨界ダイナミクスがLSMに有益であることを支持する。