[論文レビュー] Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs

Gourav Datta, Haoqin Deng+2 more|arXiv (Cornell University)|Oct 23, 2022

Advanced Memory and Neural Computing被引用数 10

ひとこと要約

本稿では、スパイクLSTMのための新規なANN-to-SNN変換フレームワークを提案する。この手法により、高精度で低遅延かつ低消費電力な推論が可能となる。クリッピングされた活性化関数の導入、バイアスシフトを用いたIF/LIF変換の最適化、並列パイプライン処理の採用により、先行研究と比較して4×から105.7×の低遅延、2.8×から13.2×の低消費電力が達成され、音声およびセンサデータセットにおいてわずか<0.3%の精度低下にとどまる。

ABSTRACT

Spiking Neural Networks (SNNs) have emerged as an attractive spatio-temporal computing paradigm for complex vision tasks. However, most existing works yield models that require many time steps and do not leverage the inherent temporal dynamics of spiking neural networks, even for sequential tasks. Motivated by this observation, we propose an ev{optimized spiking long short-term memory networks (LSTM) training framework that involves a novel ANN-to-SNN conversion framework, followed by SNN training}. In particular, we propose novel activation functions in the source LSTM architecture and judiciously select a subset of them for conversion to integrate-and-fire (IF) activations with optimal bias shifts. Additionally, we derive the leaky-integrate-and-fire (LIF) activation functions converted from their non-spiking LSTM counterparts which justifies the need to jointly optimize the weights, threshold, and leak parameter. We also propose a pipelined parallel processing scheme which hides the SNN time steps, significantly improving system latency, especially for long sequences. The resulting SNNs have high activation sparsity and require only accumulate operations (AC), in contrast to expensive multiply-and-accumulates (MAC) needed for ANNs, except for the input layer when using direct encoding, yielding significant improvements in energy efficiency. We evaluate our framework on sequential learning tasks including temporal MNIST, Google Speech Commands (GSC), and UCI Smartphone datasets on different LSTM architectures. We obtain test accuracy of 94.75% with only 2 time steps with direct encoding on the GSC dataset with 4.1x lower energy than an iso-architecture standard LSTM.

研究の動機と目的

• SNNの時間的・スパースなダイナミクスを活用することで、順序処理のための従来のスパイクLSTMの高遅延およびエネルギー非効率性を解消する。
• 多くの時間ステップを要し、高コストなMAC演算を伴う、先行のSNN変換手法の限界を克服する。
• LIFニューロンにおけるしきい値および漏れパラメータの共同最適化フレームワークを構築し、変換後の誤差を最小化する。
• 低消費電力のニューロモーフィックハードウェアを活用して、音声や行動認識などのストリーミングアプリケーションに適したリアルタイム・オンデバイス推論を実現する。
• スパイクLSTMモデルにおけるエネルギー消費と推論遅延を著しく削減しながら、ほぼSOTA水準の精度を達成する。

提案手法

• 変換誤差を低減するため、元のネットワークにおける標準的なLSTM活性化関数（シグモイドおよびtanh）のクリッピング版を導入する。
• 最適なバイアスシフトを用いて、これらの活性化関数の一部を、MAC演算を回避できる統合・放電（IF）ニューロンに選択的に変換する。
• 漏れ項を考慮したリーク積分・放電（LIF）活性化関数の閉形式表現を導出する。これにより、非一様な入力分布下での解析的誤差解析が可能となる。
• 変換誤差を最小化するために、サロゲート勾配学習を用いてSNNの微調整中にしきい値および漏れパラメータを共同最適化する。
• SNNの時間ステップを隠すパイプライン化・並列処理スキームを実装し、複数の入力要素を同時に処理することでシステム遅延を低減する。
• 直接符号化を使用する際の入力層を除き、SNN全体で積算のみの演算（AC）を採用することで、ニューロモーフィックハードウェア上でのエネルギー効率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 正確なスパイクLSTM推論に必要な時間ステップ数を削減しつつ、高い精度を維持できるか？
• RQ2 IFおよびLIFニューロンを用いた非スパイクLSTMからスパイクLSTMへの変換において、変換誤差を最小限に抑える方法は何か？
• RQ3 LIFニューロンにおけるしきい値と漏れパラメータを共同で最適化することで、推論精度およびエネルギー効率にどのような影響を与えるか？
• RQ4 パイプライン化された並列処理により、長時間系列に対するスパイクLSTMのエンドツーエンド遅延を顕著に短縮できるか？
• RQ5 特にニューロモーフィックハードウェア上において、MACベースのANNと比較して、SNNにおける積算のみの演算がエネルギー消費をどの程度削減できるか？

主な発見

• 直接符号化を用いた場合、2時間ステップでGoogle Speech Commandsデータセットで94.75%のテスト精度を達成し、SOTA性能と同等となる。
• SOTAのスパイクLSTM実装と比較して、最大13.2×のエネルギー消費削減が達成され、標準的な非スパイクLSTMと比較しても2.8×から5.1×の低消費電力が実現された。
• 時間ステップの削減とパイプライン処理のおかげで、SOTAのスパイクLSTMと比較して最大105.7×の遅延低減が達成され、非スパイクLSTMと比較しても4×の改善が得られた。
• 入力層を除きSNN全体で積算のみの演算を採用することで、乗算を伴う計算を回避し、顕著なエネルギー効率の向上が実現された。
• 閉形式のLIF活性化関数により、しきい値と漏れパラメータの共同最適化による解析的誤差低減が可能となり、精度-遅延トレードオフの改善が図られた。
• 時系列MNIST、Google Speech Commands、UCIスマートフォンデータセットなど多様なデータセットにおいて、ほぼSOTA水準の精度（<0.3%の低下）を維持した。これは、順序処理タスク全体にわたる一般化性能の高さを示している。