[論文レビュー] Towards Scalable, Efficient and Accurate Deep Spiking Neural Networks with Backward Residual Connections, Stochastic Softmax and Hybridization

Priyadarshini Panda, Aparna Aketi+1 more|arXiv (Cornell University)|Oct 30, 2019

Advanced Memory and Neural Computing参考文献 40被引用数 6

ひとこと要約

本論文は、スケーラビリティ、効率性、正確性を向上させるために、バックワードリーマン接続、確率的ソフトマックス、ハイブリッド人工-スパikingニューラルネットワークアーキテクチャを提案する。共有計算を可能にし、スパイク活動を低減し、ReLUとLIFニューロンを組み合わせることで、論理的に深いSNNを実現し、CIFAR10およびImageNetにおいて準最良の正確性を達成する。従来のANNと比較して最大100倍のエネルギー効率向上を達成しながら、低遅延を維持する。

ABSTRACT

Spiking Neural Networks (SNNs) may offer an energy-efficient alternative for implementing deep learning applications. In recent years, there have been several proposals focused on supervised (conversion, spike-based gradient descent) and unsupervised (spike timing dependent plasticity) training methods to improve the accuracy of SNNs on large-scale tasks. However, each of these methods suffer from scalability, latency and accuracy limitations. In this paper, we propose novel algorithmic techniques of modifying the SNN configuration with backward residual connections, stochastic softmax and hybrid artificial-and-spiking neuronal activations to improve the learning ability of the training methodologies to yield competitive accuracy, while, yielding large efficiency gains over their artificial counterparts. Note, artificial counterparts refer to conventional deep learning/artificial neural networks. Our techniques apply to VGG/Residual architectures, and are compatible with all forms of training methodologies. Our analysis reveals that the proposed solutions yield near state-of-the-art accuracy with significant energy-efficiency and reduced parameter overhead translating to hardware improvements on complex visual recognition tasks, such as, CIFAR10, Imagenet datatsets.

研究の動機と目的

• 変換、近似勾配降下（AGD）、STDPなどの既存のSNN学習手法のスケーラビリティ、遅延、正確性の制限を克服すること。
• より深い層におけるスパイク伝搬の消失を軽減することで、深層SNNにおける学習安定性と性能を向上させること。
• パラメータ数や計算オーバーヘッドを増加させることなく、エネルギー効率と正確性を向上させること。
• 人工ニューロンとスパイキングニューロンの長所を活かしたハイブリッドSNN-ANNアーキテクチャを可能にし、複雑な視覚タスクにおける性能を向上させること。
• アーキテクチャ的変更が、すべての主要なSNN学習パラダイムにおいて顕著な効率性および正確性の向上をもたらすことを示すこと。

提案手法

• 再帰的で類似した方法で層をアンロールするバックワードリーマン（BackRes）接続を導入し、共有重みと少ないパラメータ数で論理的に深いSNNを実現する。
• AGD学習における予測正確性の向上とスパイク活動の低減を図るため、最終層に確率的ソフトマックス（stochmax）を採用する。
• ReLU（ANNに類似）とLIF（SNNに類似）の活性化関数を交互に配置したハイブリッドネットワークを設計し、STDPおよびAGD学習における学習ダイナミクスと正確性を向上させる。
• レートコーディングを用いて、実数値の画像をポアソン分布に従うスパイクトレインに変換し、イベント駆動処理と低消費電力動作を可能にする。
• VGGおよびResNetスタイルのアーキテクチャにBackRes機構を適用し、完全な深さを必要とせずに、深層SNNの効率的学習を可能にする。
• stochmaxを用いることで、AGD学習済みSNNにおけるエンドツーエンドのバックプロパゲーションを実現し、スパイク活動を低減し、収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 バックワードリーマン接続は、深層SNNにおけるスパイク伝搬の消失を軽減し、学習安定性を向上させることができるか？
• RQ2 確率的ソフトマックスは、従来のソフトマックスと比較して、AGD学習済みSNNにおける予測正確性とエネルギー効率を向上させるか？
• RQ3 ハイブリッドSNN-ANNアーキテクチャは、純粋にスパイキングまたは人工ネットワークと比較して、より高い正確性と低い遅延を達成できるか？
• RQ4 これらのアーキテクチャ的変更は、さまざまなSNN学習手法において、どの程度エネルギー効率とスケーラビリティを向上させるか？
• RQ5 ハイブリッドSNNは、ANNと同等の正確性を達成しながら、ImageNetのような大規模データセットにおいてエネルギー消費を削減できるか？

主な発見

• バックワードリーマン接続により、同等の完全に深いSNNと比較して、エネルギー消費が1.8–3.5倍低減される。これは、ネットワーク活動のスパarsity化に起因する。
• 確率的ソフトマックスは、AGD学習における正確性を2–3%向上させ、従来のソフトマックスと比較してエネルギー効率を1.6–2倍向上させる。
• ハイブリッドアーキテクチャは、STDPおよびAGDを用いてCIFAR10で80–85%の正確性を達成し、同等のANNと同等またはそれを上回る正確性を実現しながら、エネルギー効率を4倍向上させる。
• 提案手法により、ImageNet上でVGG13モデルを学習可能にし、ANNの同等の正確性を維持しつつ、最大100倍のエネルギー効率向上を達成する。
• BackRes接続により、最小限のパラメータオーバーヘッドで論理的に深いSNNを実現でき、すべての学習手法におけるスケーラビリティが向上する。アーキテクチャの再設計を必要としない。
• ハイブリッドSNN-ANNアプローチにより、分散型エッジ・クラウド推論が可能となり、SNN層は低消費電力のエッジデバイスで、ANN層はクラウドで実行される。