[論文レビュー] Recent Advances and New Frontiers in Spiking Neural Networks

Duzhen Zhang, Shuncheng Jia+1 more|arXiv (Cornell University)|Mar 12, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本サーベイは、スパikingニューラルネットワーク（SNNs）における最近の進展と新たなフロンティアをレビューし、5つのコア分野に焦点を当てる：ニューロンモデル、符号化手法、トポロジー構造、神経形状データセット、最適化アルゴリズム、ソフトウェアフレームワーク、およびハードウェアプラットフォーム。イベント駆動計算と神経形状ハードウェア統合を通じて、エネルギー効率が良く、脳にインspiredされた人工知能の可能性を強調する。

ABSTRACT

In recent years, spiking neural networks (SNNs) have received extensive attention in brain-inspired intelligence due to their rich spatially-temporal dynamics, various encoding methods, and event-driven characteristics that naturally fit the neuromorphic hardware. With the development of SNNs, brain-inspired intelligence, an emerging research field inspired by brain science achievements and aiming at artificial general intelligence, is becoming hot. This paper reviews recent advances and discusses new frontiers in SNNs from five major research topics, including essential elements (i.e., spiking neuron models, encoding methods, and topology structures), neuromorphic datasets, optimization algorithms, software, and hardware frameworks. We hope our survey can help researchers understand SNNs better and inspire new works to advance this field.

研究の動機と目的

• スパikingニューラルネットワーク（SNNs）の5つの主要研究分野における最近の進展を包括的にレビューすること。
• 生物学的妥当性と計算効率の両立を図る上で、SNN研究における新たな課題とフロンティアを特定・分析すること。
• 研究者がSNNの現状を理解し、人工汎用知能への新たな研究を促す支援をすること。
• 神経形状ハードウェアとソフトウェアフレームワークがSNNのデプロイおよびトレーニングをどのように加速するかを検討すること。
• オフラインとオンラインの神経形状チップを比較・対比し、SNNの推論と学習を支援する点での差異を明らかにすること。

提案手法

• 5つのコア分野（必須要素：ニューロンモデル、符号化、トポロジー、神経形状データセット、最適化アルゴリズム、ソフトウェアフレームワーク、ハードウェアプラットフォーム）における最近の文献を体系的にサーベイ。
• ヒルキンソン＝ハックスレー、LIF、イジケビッチのモデルを含むニューロンモデルを分析し、生物学的妥当性と計算効率の両面を強調。
• レート符号化、時間的符号化、ランクベース符号化などの符号化手法をレビューし、SNNにおける情報表現への影響を評価。
• スパイク時刻依存可塑性（STDP）や擬似バックプロパゲーション（例：Zenke & Ganguli, 2018）などの最適化技術を検討し、SNNのトレーニングに応用。
• SpikingJelly や CogSNN などのソフトウェアツールを評価し、SNNの開発とトレーニングを支援。
• IBM TrueNorth、Intel Loihi、Tianjic などの神経形状ハードウェアプラットフォームをレビューし、アーキテクチャ、スケーラビリティ、オンチップ学習の支援を焦点に。

実験結果

リサーチクエスチョン

• RQ1 生物学的妥当性と計算効率の両立を図る上で、どのようなスパイクニューロンモデルの進歩が見られるか？
• RQ2 異なるスパイク符号化手法は、イベント駆動処理におけるSNNの性能と耐障害性にどのように影響を与えるか？
• RQ3 生物学的インスピレーション（例：STDP）と工学的ドリブン（例：擬似BP）の両アルゴリズムを用いたSNN最適化における、現在の制限と機会は何か？
• RQ4 現代のソフトウェアフレームワークは、SNNの開発とトレーニングをどのように可能にしているか？また、スケーラビリティと使いやすさのトレードオフは何か？
• RQ5 超低消費電力で高並列処理を実現するSNN推論と学習を可能にする神経形状ハードウェアにおけるアーキテクチャ的イノベーションは何か？

主な発見

• ヒルキンソン＝ハックスレー（Hodgkin-Huxley）モデルは、ニューロンダイナミクスの詳細な生体物理学的記述を提供するが、計算コストが高いため、LIFやイジケビッチモデルは大規模SNNに適した効率的な近似を提供する。
• N-MNIST や DVS-CIFAR10 などの神経形状データセットは、イベント駆動ビジョンタスクにおけるSNNのトレーニングと評価に不可欠であり、高速かつ低消費電力の処理を可能にする。
• Zenke & Ganguli（2018）が提唱したような擬似バックプロパゲーション手法により、SNNにおけるエンドツーエンドのバックプロパゲーションが可能になり、ベンチマークタスクでの精度が顕著に向上した。
• Intel Loihi（800万ニューロン、80億シナプス）やIBM TrueNorth（100万ニューロン、2億5600万シナプス）などの神経形状チップは、リアルタイムSNN推論に向けた超低消費電力と高並列処理を示している。
• Loihi や SpiNNaker といったオンライン神経形状チップはオンチップ学習をサポートし、適応的でイベント駆動の計算を可能にするが、TrueNorth や Neurogrid といったオフラインチップは推論のみに限定される。
• Tianjic などのハイブリッドアーキテクチャはDNNとSNNの両方をサポートし、自己走行自転車における音声認識や障害物回避を含むマルチモーダルアプリケーションを可能にする。