[論文レビュー] Spiking Neural Networks and Bio-Inspired Supervised Deep Learning: A Survey

Gabriele Lagani, Fabrizio Falchi+2 more|arXiv (Cornell University)|Jul 30, 2023

Advanced Memory and Neural Computing被引用数 10

ひとこと要約

SNN（Spiking Neural Networks）と生体に着想を得た教師あり深層学習（BIDL）の包括的な調査。SNNモデル、学習の課題、STDPベースおよび代替勾配（surrogate-gradient）手法、エネルギー効率のよいニューロモルフィックな含意を詳述。

ABSTRACT

For a long time, biology and neuroscience fields have been a great source of inspiration for computer scientists, towards the development of Artificial Intelligence (AI) technologies. This survey aims at providing a comprehensive review of recent biologically-inspired approaches for AI. After introducing the main principles of computation and synaptic plasticity in biological neurons, we provide a thorough presentation of Spiking Neural Network (SNN) models, and we highlight the main challenges related to SNN training, where traditional backprop-based optimization is not directly applicable. Therefore, we discuss recent bio-inspired training methods, which pose themselves as alternatives to backprop, both for traditional and spiking networks. Bio-Inspired Deep Learning (BIDL) approaches towards advancing the computational capabilities and biological plausibility of current models.

研究の動機と目的

• SNNの基礎となる生物学とシナプス可塑性の原理を提示する。
• 生物学的に詳細なSNNモデルとそれらの学習課題、エネルギー効率のよい計算への潜在的な応用をレビューする。
• SNNおよびDNNのバックプロパゲーションの代替としての生物に着想を得た学習手法を調査する。
• 生物に着想を得た深層学習（BIDL）の概念と伝統的な DLおよび神経科学との関連を論じる。
• 生物学的に grounded な学習技術の未解決の課題と今後の方向性を明らかにする。

提案手法

• スパイキングニューロンモデル（例：LIF、HH、Izhikevich）とスパイク符号化方式を説明する。
• STDPおよび他のシナプス可塑性ルール（電圧依存性やトリプレット変種を含む）を説明する。
• SNNsにおけるバックプロパゲーション適合性の問題と訓練代替としての代替勾配アプローチを議論する。
• STDPベースのDLに対する監督信号としての教師ニューロン技術とWTAを含む競合学習を提示する。
• BIDL内での前向伝播・リザーバ計算・教師なし/双方向学習など、代替的学習パラダイムを概説する。

実験結果

リサーチクエスチョン

• RQ1 生物学的に現実的な計算に用いられる主なSNNモデルとスパイク符号化方式は何か。
• RQ2 SNNsの主な学習課題は何であり、それらをバックプロパゲーションに代わる生物由来の方法でどのように解決できるか。
• RQ3 STDPおよび他のHebbianベースのルールは従来のDLの目的とデータ効率の目標とどのように関連するか。
• RQ4 生物に着想を得た深層学習（BIDL）の役割と、エネルギー効率の高い生体 plausible AIを推進する潜在性は何か。
• RQ5 SNNsがニューロモルフィックハードウェアと実世界の応用に与える実用的影響は何か。

主な発見

• バックプロパゲーションは spiking nonlinearity のため直接的にはSNNsに適用できず、STDPと代替勾配アプローチを動機づける。
• STDPベースの訓練は、単一のconv層とWTAを用いたMNISTでの95%精度など、画像類似タスクで競争力のある性能を達成できる。
• 教師ニューロン技術により監督付きSTDP訓練が可能となり、報告された実験でMNISTの精度は約89.7%に達する。
• より深いSTDPベースおよびハイブリッドなアーキテクチャは改善を示しており、3つの畳み込み層設定でMNISTの精度82.8%が報告されている（詳細は省略）。
• 生物学に着想を得た学習則は、PCA/ICAやクラスタリングなどのレートベースのHebbian概念へマッピングでき、標準的なDLに対するデータ効率のよい代替を提供する。
• SNNsと生物に着想を得た学習は、エネルギー効率の高いニューロモルフィック/ハードウェア実装の可能性を示唆する。