[論文レビュー] ESL-SNNs: An Evolutionary Structure Learning Strategy for Spiking Neural Networks

Jiangrong Shen, Qi Xu+4 more|arXiv (Cornell University)|Jun 6, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文では、脳にインspiredされた進化的構造学習フレームワークであるESL-SNNsを提案する。この手法により、トレーニング中にシナプス結合を動的に pruning および再生成することで、スパースなSNNのトレーニングを完全に新規から実現できる。本手法は、スパーストレーニングと密度のあるトレーニングの間の表現力のギャップを埋め、最小限の性能低下（10%の接続密度で0.28%の精度低下）で、メモリおよびエネルギー消費を顕著に削減する。

ABSTRACT

Spiking neural networks (SNNs) have manifested remarkable advantages in power consumption and event-driven property during the inference process. To take full advantage of low power consumption and improve the efficiency of these models further, the pruning methods have been explored to find sparse SNNs without redundancy connections after training. However, parameter redundancy still hinders the efficiency of SNNs during training. In the human brain, the rewiring process of neural networks is highly dynamic, while synaptic connections maintain relatively sparse during brain development. Inspired by this, here we propose an efficient evolutionary structure learning (ESL) framework for SNNs, named ESL-SNNs, to implement the sparse SNN training from scratch. The pruning and regeneration of synaptic connections in SNNs evolve dynamically during learning, yet keep the structural sparsity at a certain level. As a result, the ESL-SNNs can search for optimal sparse connectivity by exploring all possible parameters across time. Our experiments show that the proposed ESL-SNNs framework is able to learn SNNs with sparse structures effectively while reducing the limited accuracy. The ESL-SNNs achieve merely 0.28% accuracy loss with 10% connection density on the DVS-Cifar10 dataset. Our work presents a brand-new approach for sparse training of SNNs from scratch with biologically plausible evolutionary mechanisms, closing the gap in the expressibility between sparse training and dense training. Hence, it has great potential for SNN lightweight training and inference with low power consumption and small memory usage.

研究の動機と目的

• パrameterの冗長性によるSNNトレーニング時の高消費電力および高メモリ使用を緩和すること。
• 本質的にスパースなトレーニングを可能にする生物学的に妥当なスパース構造学習フレームワークを構築すること。
• 時間的経過に伴うシナプス結合の動的探索を可能にすることで、スパースSNNトレーニングの表現力を向上させること。
• 初期化段階から構造的スパarsityを維持することで、トレーニングおよび推論の両段階におけるエネルギーおよびメモリのオーバーヘッドを低減すること。
• 進化的な接続最適化により、スパースと密度のあるSNNトレーニングの性能ギャップを解消すること。

提案手法

• ESL-SNNsフレームワークは、固定された接続確率を持つErdős–Rényiランダムグラフを用いてSNNを初期化し、スパースなベースラインを確立する。
• トレーニング中、各T_iterイテレーションごとに、事前に定義されたpruningおよび成長ルールに従い、シナプス結合が動的にpruningおよび再生成され、所望の構造的スパarsityレベルを維持する。
• 重みは各トレーニングイテレーションでグローバル学習ルールにより更新されるが、構造的変更は脳のシナプス再接続にインスパイアされた進化的メカニズムを通じて独立して行われる。
• 本フレームワークは、SET pruningやモーメンタムに基づく成長など、さまざまな成長およびpruningルールをサポートし、最適なスパース接続性の進化を導く。
• 本手法により、初期化段階からスパーストポロジーを持つSNNのエンドツーエンドトレーニングが可能となり、密度のあるアーキテクチャでの事前トレーニングの必要性がなくなる。
• フレームワークは、フィードフォワードおよび畳み込みネットワークを含む複数のSNNアーキテクチャと互換性があり、さまざまな接続密度レベルをサポートする。

実験結果

リサーチクエスチョン

• RQ1 脳のシナプス再接続を模倣する生物学的に妥当な進化的メカニズムを用いて、スパースSNNの新規からのトレーニングが可能か？
• RQ2 トレーニング中にシナプス結合を動的にpruningおよび再生成することは、最終的なモデルの精度およびスパarsityレベルにどのような影響を及えるか？
• RQ3 異なるpruningおよび成長ルールの影響は、スパースSNNトレーニングの安定性および表現力にどのように現れるか？
• RQ4 ESL-SNNsは、密度のあるSNNと比較して、パrameter数およびエネルギー消費をどれほど削減できるか？
• RQ5 提案されたフレームワークは、モデルの表現力という観点から、スパースと密度のあるSNNトレーニングの性能ギャップを解消できるか？

主な発見

• DVS-Cifar10データセットにおいて、10%の接続密度でESL-SNNsはわずか0.28%の精度低下で、高い効率性と最小限の性能劣化を示した。
• 50%の接続密度では、Cifar10で91.09%、Cifar100で73.48%の精度を達成し、約628万パラメータで、複雑さを低減しながらも強力な性能を示した。
• SET pruningとモーメンタムに基づく成長ルールを組み合わせたモデルは、さまざまな密度レベルで最も安定した性能を示し、1%の密度でも14.08%の精度低下で高い精度を維持した。
• フレームワークにより、初期化段階からスパーストレーニングが可能となり、密度のあるSNNと比較してトレーニングおよび推論段階でのメモリ使用量および消費電力が顕著に削減された。
• ESL-SNNsは、TET や LIAF-Net などの最先端モデルを上回るか、同等の性能を示し、78.3%のテスト精度を達成しながらも、接続数を減らした。
• シナプス結合の動的進化により、パラメータ空間の効果的な探索が可能となり、スパーストレーニングの表現力を向上させ、オンチップ学習の可能性を高めた。