[論文レビュー] A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware

Philipp Plank, Arjun A. Rao+2 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Memory and Neural Computing被引用数 9

ひとこと要約

この論文は、Intel Loihiのような神経形状ハードウェア上で効率的なAI推論を実現するため、AHPニューロンに基づくスパイクニューラルネットワーク（SNN）アーキテクチャとスパイク関係ネットワーク（Spiking RelNet）を提案する。時間的符号化、最適化されたネットワーク配置、スパイクベースの計算を活用することで、GPUベースのLSTMと比較して最大21,025倍のエネルギー効率向上を達成し、sMNISTおよびbAbI質問応答タスクにおいて高い精度を示した。クロスチップ通信とエネルギー消費が最小限に抑えられている。

ABSTRACT

Spike-based neuromorphic hardware holds the promise to provide more energy efficient implementations of Deep Neural Networks (DNNs) than standard hardware such as GPUs. But this requires to understand how DNNs can be emulated in an event-based sparse firing regime, since otherwise the energy-advantage gets lost. In particular, DNNs that solve sequence processing tasks typically employ Long Short-Term Memory (LSTM) units that are hard to emulate with few spikes. We show that a facet of many biological neurons, slow after-hyperpolarizing (AHP) currents after each spike, provides an efficient solution. AHP-currents can easily be implemented in neuromorphic hardware that supports multi-compartment neuron models, such as Intel's Loihi chip. Filter approximation theory explains why AHP-neurons can emulate the function of LSTM units. This yields a highly energy-efficient approach to time series classification. Furthermore it provides the basis for implementing with very sparse firing an important class of large DNNs that extract relations between words and sentences in a text in order to answer questions about the text.

研究の動機と目的

• 神経形状ハードウェア（例：Intel Loihi）上でAIワークロードに適したエネルギー効率の高いスパイクニューラルネットワークを開発すること。
• マルチチップSNN展開におけるスパイクの混雑と非効率な通信の課題に対処すること。
• 最小限のエネルギーと遅延でスパイクベースの計算を用いて、シーケンスおよび推論タスク（sMNIST、bAbI）で高い精度を達成すること。
• クロスチップ通信を低減し、ハードウェア利用効率を向上させるために、ネットワーク配置と接続性を最適化すること。
• 従来のCPU/GPU実装と直接比較可能なエネルギーおよび遅延性能をベンチマークすること。

提案手法

• 時間的符号化と記憶の保持を向上させるために、適応的指数的電流と不活性化期間を持つAHPニューロンを用いる。
• バックプロパゲーションを可能にするために、減衰係数γとスケーリングされた電圧サポートを有する補間勾配法を採用する。
• 連続フレーム間の画素遷移に基づいてスパイクを生成する、MNIST画像のための新規入力符号化方式を適用する。
• 複数の関係関数gθのインスタンスを備えたSpiking RelNetを設計し、共有パラメータと最適化された接続性を有する。
• リレー層をgθ入力層と同一チップに配置することで、クロスチップスパイク伝送を最小限に抑えることにより、Loihiチップ間でのネットワーク配置を最適化する。
• シナプスメモリ、入力アキソン、出力アキソンの制限に基づく制約付き配置戦略を用い、ハードウェアのボトルネックとスパイク混雑を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 AHPベースのSNNは、神経形状ハードウェア上で超低消費電力であるにもかかわらず、sMNISTベンチマークで競争力のある精度を達成できるか？
• RQ2 bAbI質問応答タスクにおいて、Spiking RelNetのエネルギーおよび遅延性能は従来のディープラーニングモデルと比較してどうなるか？
• RQ3 マルチチップ神経形状システムにおけるスパイク混雑とクロスチップ通信を最小限に抑えるネットワーク配置戦略は何か？
• RQ4 時間的符号化とスパイクダイナミクスは、シーケンスモデリングおよび推論タスクで性能をどれほど維持できるか？
• RQ5 GPUおよびCPU実装と比較して、Loihi上でのスパイキングネットワークの実現可能なエネルギー遅延積（EDP）はどの程度か？

主な発見

• AHP-SNNはsMNISTタスクで98.2％の精度を達成し、エネルギー遅延積（EDP）は5.14 µJに留まり、GPUベースライン比21,025.64倍の改善を示した。
• bAbIタスクにおいて、Spiking RelNetは100kショット版で94.7％、10kショット版で91.7％の精度を達成し、スパイクフレームワーク内での強力な推論能力を示した。
• Spiking RelNetはLoihi上でのEDPが1423.70 µJに留まり、CPUベースライン比276.85倍、GPUベースライン比21,025.64倍の低エネルギー効率を達成した。
• 最適化されたネットワーク配置により、リレー層とgθ入力層を同一チップに配置することでクロスチップ通信が削減され、必要なリレーネットワーク数が減少し、スパイク混雑が最小限に抑えられた。
• エネルギーベンチマークの結果、AHP-SNNの動的消費電力は24.33 mW、合計電力は25.83 mWであり、GPUおよびCPUの対応する値と比べて顕著に低かった。
• Spiking RelNetはLoihi上で2,308コアを必要とし、最大の制限要因はシナプスメモリであった。ハードウェア制限を尊重しながら、チップ間通信を最小限に抑える配置がなされた。