[論文レビュー] A Comprehensive Review of Spiking Neural Networks: Interpretation, Optimization, Efficiency, and Best Practices

Kai Malcolm, Josue Casco-Rodriguez|arXiv (Cornell University)|Mar 19, 2023

Advanced Memory and Neural Computing被引用数 10

ひとこと要約

SNNs（スパイキングニューラルネットワーク）における最近の進展を統合した文献レビューで、解釈、最適化（代替勾配を含む）、効率性、ベンチマーク、研究者のためのベストプラクティスに焦点を当てる。

ABSTRACT

Biological neural networks continue to inspire breakthroughs in neural network performance. And yet, one key area of neural computation that has been under-appreciated and under-investigated is biologically plausible, energy-efficient spiking neural networks, whose potential is especially attractive for low-power, mobile, or otherwise hardware-constrained settings. We present a literature review of recent developments in the interpretation, optimization, efficiency, and accuracy of spiking neural networks. Key contributions include identification, discussion, and comparison of cutting-edge methods in spiking neural network optimization, energy-efficiency, and evaluation, starting from first principles so as to be accessible to new practitioners.

研究の動機と目的

• 第一原理からのSNN最適化および生物学的妥当性の最近の展開を調査する。
• 代替勾配と微分不可能なスパイクダイナミクスを含むSNNの学習法を比較する。
• ニューロモルフィック計算のためのエネルギー効率機構とハードウェアの影響を評価する。
• SNN研究を統一するための標準的なベンチマークデータセットと利用可能なツール/フレームワークを特定する。
• SNN研究に新しく参入する研究者への洞察とベストプラクティスを提供する。

提案手法

• 最近のSNN最適化および効率化技術のメタ分析。
• 符号化方式（レートコードとTTFS/遅延コード）とそのトレードオフの議論と比較。
• SNNダイナミクスを二次最適化形および凸最適化の概念へ導出・結びつける。
• トレーニング手法の概観：Backpropagation Through Time (BPTT)、代替勾配、および代替案（STDP、イベント駆動最適化、OTTT、IDE）。”
• スパース性、イベント駆動計算、ニューロモルフィックハードウェアの影響を含むエネルギー効率機構の検討。
• SNN開発で使用されるベンチマークデータセットの整理とツール/フレームワークの調査。

Figure 1: An illustration by Barnett & Larkman ( 2007 ) showing the different phases of depolarization and polarization as they relate to action potentials and voltage-gated ion channels.

実験結果

リサーチクエスチョン

• RQ1 SNNの支配的な最適化および学習戦略は何で、それらはどのように比較されるのか。
• RQ2 符号化方式とスパイクダイナミクスは精度、効率、ハードウェア適合性にどのように影響するか。
• RQ3 SNNがANNに対してエネルギー効率と頑健性を示す証拠は何か、またどの条件で利得が得られるか。
• RQ4 SNNを評価する際に最も一般的に用いられるベンチマークデータセットとツールは何か、標準化をどのように改善できるか。
• RQ5 解釈、実装、および評価に関して、SNN初心者の研究者に現れるベストプラクティスは何か。

主な発見

• SNNは凸/二次最適化およびダイナミカルシステムとの関連を通じて解釈・分析できる。
• 代替勾配アプローチはSNNの訓練に不可欠であり、さまざまな選択肢で安定した性能を示す。
• 遅延符号化（TTFS）が、多くのデータセットにおいてレートコードと比較してエネルギー効率と精度のトレードオフでしばしば優れる。
• SNNのエネルギー効率の向上は、従来のANNと比較して最大で3桁のオーダーに達することがあり、特にスパースでイベント駆動の処理とニューロモルフィックハードウェアと組み合わせた場合に顕著。
• Several advanced training schemes (Dspike, IM-Loss, ESG) have been proposed to improve convergence and information retention in SNNs.
• 標準化されたベンチマークとツールの必要性があり、査読対象の研究はそれを特定・編纂している。

Figure 2: Plotted measurements of (b) an observed spike train and (c) an isolated action potential by Wattanapanitch et al. ( 2007 ) .