[論文レビュー] PC-SNN: Predictive Coding-based Local Hebbian Plasticity Learning in Spiking Neural Networks

Wang, Haidong, Xiaogang Xiong+6 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本論文は、予測コーディング理論を用いて、バックプロパゲーションやフィードバックネットワークを必要とせず、局所的なヒブスキー可塑性のみでエンドツーエンドの学習を可能にする、生物学的に妥当な教師あり学習アルゴリズムであるPC-SNNを提案する。この手法は、N-MNISTで98.5%という最先端の精度を達成し、神経形状ハードウェアと互換性があり、効率的で低消費電力な学習を実現している。

ABSTRACT

Spiking Neural Networks (SNNs), regarded as the third generation of neural networks, emulate the brain's information processing with unparalleled biological plausibility compared to traditional neural networks. However, their non-linear, event-driven dynamics pose significant challenges for training, and existing methods often deviate from neuroscientific principles of cortical learning. Drawing inspiration from predictive coding theory-a leading model of brain information processing-we propose PC-SNN, a novel learning framework that integrates predictive coding with SNNs to enable biologically plausible, local Hebbian plasticity without reliance on backpropagation. Unlike conventional SNN training approaches, PC-SNN leverages only local computations, aligning with the brain's distributed processing and overcoming the biological implausibility of global error propagation. Our classification model achieves competitive performance on the benchmark datasets, including Caltech Face/Motorbike, MNIST, and CIFAR10, surpassing state-of-the-art multi-layer SNNs. Furthermore, our predictive coding-based regression model outperforms backpropagation-based methods while adhering to local plasticity constraints, offering a scalable and biologically grounded alternative for SNN training. PC-SNN drives progress in neuromorphic computing through validating the adaptability of bio-inspired algorithms within spiking neural architectures, but also unveils novel understandings of neurocognitive learning processes, presenting a conceptual framework distinguished by its theoretical originality and functional efficacy.

研究の動機と目的

• バックプロパゲーションに依存しない非局所的信号を回避する、生物学的に妥当な局所的学習ルールを、教師ありSNNの学習に開発すること。
• 勾配ベースの手法がSNNに適用する際の限界、例えばスパイク関数の微分不能性や高い計算コストを克服すること。
• 予測された脳の学習メカニズムを模倣するように、入力と出力のニューロン活動のみを用いてエンドツーエンドの学習を可能にすること。
• MNISTやN-MNISTのようなベンチマークデータセットで、最小限のアーキテクチャ的複雑性で競争力のある性能を示すこと。
• 神経形状ハードウェアにおけるオンチップでエネルギー効率の良い学習の基盤を提供すること。

提案手法

• 予測コーディングフレームワークを用いて、各ニューロンで予測誤差を計算し、それを局所的なシナプス可塑性の更新に用いる。
• グローバルな誤差信号やフィードバックネットワークを必要とせず、局所的な前シナプスおよび後シナプス活動によって可塑性が駆動される。
• 即時のシナプス電流（I.S.C）を伴う簡略化されたIFニューロンモデルを用い、1入力あたり1回までに制限することでエネルギー消費を低減する。
• 重みの更新は、前シナプス活動と後シナプスニューロンの予測誤差の積に基づく局所的なヒブスキー則によって計算される。
• 訓練プロセスは完全にエンドツーエンドであり、事前学習や微調整の段階を必要としない。
• ネットワークアーキテクチャは完全結合であり、出力ニューロンの平均二乗誤差の和（MSSE）の反復的最小化によって収束する。

実験結果

リサーチクエスチョン

• RQ1 予測コーディングを用いて、バックプロパゲーションを必要とせず、生物学的に妥当な局所的学習をSNNに実装できるか？
• RQ2 完全に局所的なヒブスキー則が、標準的な画像データセットで最先端のSNNと同等の性能を達成できるか？
• RQ3 フィードバックネットワークを排除することで、神経形状ハードウェアにおけるオンチップ学習との適合性が向上するか？
• RQ4 グローバルな誤差信号が存在しない状況で、ネットワークの性能は深さやパrameter数の増加に伴ってどのように変化するか？
• RQ5 1入力あたり1スパイクの制約を設けることで、精度を損なわずエネルギー効率を向上させられるか？

主な発見

• PC-SNNはCaltech Face/Motorbikeデータセットで99.25%のテスト精度を達成し、多くの既存のSNN手法を上回った。
• ETH-80データセットでは84.25%の精度を達成し、自然画像認識タスクにおける強力な一般化性能を示した。
• MNISTデータセットでは98.1%の精度を達成し、簡略化されたニューロンモデルを用いても優れた性能を示した。
• N-MNIST神経形状データセットでは98.5%の精度を達成し、文献に記載された最先端の結果と同等またはそれを上回った。
• 出力誤差ノードのMSSEはエポックごとに単調に減少し、ほぼゼロに収束した。これは誤差の効果的な最小化を示している。
• 3層ネットワークは2層バージョンよりも高い精度を達成したが、パrameter数が少ないため2層モデルはより速く収束した。