[論文レビュー] DIET-SNN: Direct Input Encoding With Leakage and Threshold Optimization in Deep Spiking Neural Networks

Nitin Rathi, Kaushik Roy|arXiv (Cornell University)|Aug 9, 2020

Advanced Memory and Neural Computing参考文献 45被引用数 91

ひとこと要約

DIET-SNNは直接入力エンコーディングと学習可能な膜リーク・発火閾値を用いて深層スパイクネットワークを訓練し、ANNと同等の精度を達成しつつ、計算エネルギーを6〜18倍低く、遅延を5タイムステップに抑える。

ABSTRACT

Bio-inspired spiking neural networks (SNNs), operating with asynchronous binary signals (or spikes) distributed over time, can potentially lead to greater computational efficiency on event-driven hardware. The state-of-the-art SNNs suffer from high inference latency, resulting from inefficient input encoding, and sub-optimal settings of the neuron parameters (firing threshold, and membrane leak). We propose DIET-SNN, a low-latency deep spiking network that is trained with gradient descent to optimize the membrane leak and the firing threshold along with other network parameters (weights). The membrane leak and threshold for each layer of the SNN are optimized with end-to-end backpropagation to achieve competitive accuracy at reduced latency. The analog pixel values of an image are directly applied to the input layer of DIET-SNN without the need to convert to spike-train. The first convolutional layer is trained to convert inputs into spikes where leaky-integrate-and-fire (LIF) neurons integrate the weighted inputs and generate an output spike when the membrane potential crosses the trained firing threshold. The trained membrane leak controls the flow of input information and attenuates irrelevant inputs to increase the activation sparsity in the convolutional and dense layers of the network. The reduced latency combined with high activation sparsity provides large improvements in computational efficiency. We evaluate DIET-SNN on image classification tasks from CIFAR and ImageNet datasets on VGG and ResNet architectures. We achieve top-1 accuracy of 69% with 5 timesteps (inference latency) on the ImageNet dataset with 12x less compute energy than an equivalent standard ANN. Additionally, DIET-SNN performs 20-500x faster inference compared to other state-of-the-art SNN models.

研究の動機と目的

• エネルギー効率が高く低遅延のニューロモルフィック推論をSNNで実現する動機づけ。
• 層を跨いで重み、膜リーク、発火閾値を同時に最適化する勾配ベースの方法を開発する。
• 直接入力エンコーディングを用いて入力エンコードのオーバーヘッドを排除し、第一層がスパイクを生成できるようにする。
• CIFARとImageNetでの競争力のある精度を、従来より大幅に少ないタイムステップとエネルギーで示す。

提案手法

• ピクセル値を入力層へ直接供給する直接入力エンコーディングを用いる。
• レイヤー共有のリークと閾値パラメータを持つ Leaky Integrate-and-Fire (LIF) ニューロンを採用する。
• バックプロパゲーションによるエンドツーエンドの訓練で重み、リーク、閾値を最適化（スパイクには代替勾配を用いる）。
• ANN‑SNN変換から初期化し、変換時に各層ごとに99.7パーセンタイル閾値を選択、次にスパイクベース学習でファインチューニングする。
• 出力・隠れ層・パラメータの勾配をBPTTと代替勾配（式1–15）を用いて導出する。
• CIFARとImageNetのVGGおよびResNetアーキテクチャで評価し、遅延とエネルギーを従来のSNNおよびANNと比較する。

実験結果

リサーチクエスチョン

• RQ1 各層ごとの膜リークと発火閾値を共同で学習させると、精度を維持しつつ推論レイテンシを低減できるか？
• RQ2 直接入力エンコーディングと学習可能な第一層のスパイク生成器を組み合わせると、活性化のスパース性とエネルギー効率は改善されるか？
• RQ3 DIET-SNNはCIFARとImageNetにおいて、精度・タイムステップ・計算エネルギーの観点で最新のSNNおよびANNと比較してどうか？
• RQ4 深いネットワークにおけるリーク/閾値最適化の層別エネルギーとスパイク率への影響はどのようになるか？

主な発見

• DIET-SNNは5タイムステップのみでCIFARとImageNetに対してANNベースラインと同程度のトップ1精度を達成する。
• 重み・リーク・閾値の共同最適化は、従来のSNNに対して遅延/エネルギーの大幅な利得を生み出す（ANNに対して6–18×エネルギー削減；他のSNNより20–500×推論高速化）。
• 直接入力エンコーディングと訓練された第一層のスパイク生成器は入力エンコードのオーバーヘッドを排除し、深層層で高い活性化スパース性を実現する。
• リークは不必要な発火を抑制し、閾値最適化はスパイク生成を加速させるため、スパイクレートが大幅に低下する（例：CIFARのVGG16で平均スパイクレート約1.6、5タイムステップ）。
• この手法はImageNetで5タイムステップで69%のトップ1を達成し、同等のANNよりもエネルギーが大幅に低い。