[論文レビュー] SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking

Xingrun Xing, Boyan Gao+6 more|arXiv (Cornell University)|Jul 5, 2024

Ferroelectric and Negative Capacitance Devices被引用数 4

ひとこと要約

SpikeLLMは、Saliency駆動型スパイクダイナミクスを大規模言語モデル（LLM）に統合することで、7–70Bパラメータの最初のスパイキング大規模言語モデル（SNN）を実現した。新規の最適化された脳スパイキング（Optimal Brain Spiking）フレームワークを用いて、効率的で高精度な量子化を実現した。SpikeLLMは、OmniQuantおよびGPTQパイプラインの両方で最先端の性能を達成し、WikiText2のPerplexityを25.51%低減した。また、完全に加法的な線形層を三値スパイクニューロンによって実現し、PB-LLMを上回る精度とスパarsityを達成した。

ABSTRACT

Recent advancements in large language models (LLMs) with billions of parameters have improved performance in various applications, but their inference processes demand significant energy and computational resources. In contrast, the human brain, with approximately 86 billion neurons, is much more energy-efficient than LLMs with similar parameters. Inspired by this, we redesign 7$\sim$70 billion parameter LLMs using bio-plausible spiking mechanisms, emulating the efficient behavior of the human brain. We propose the first spiking large language model, SpikeLLM. Coupled with the proposed model, two essential approaches are proposed to improve spike training efficiency: Generalized Integrate-and-Fire (GIF) neurons to compress spike length from $T$ to $\frac{T}{L} \log_2 L$ bits, and an Optimal Brain Spiking framework to divide outlier channels and allocate different $T$ for GIF neurons, which further compresses spike length to approximate $log_2T$ bits. The necessity of spike-driven LLM is proved by comparison with quantized LLMs with similar operations. In the OmniQuant pipeline, SpikeLLM reduces 11.01% WikiText2 perplexity and improves 2.55% accuracy of common scene reasoning on a LLAMA-7B W4A4 model. In the GPTQ pipeline, SpikeLLM achieves direct additive in linear layers, significantly exceeding PB-LLMs.

研究の動機と目的

• 大規模言語モデル（LLM）の高いエネルギー消費と計算コストを、脳のエネルギー効率を模倣することで低減すること。
• LLMにスケーリングする際のSNNのボトル neck（発火レート符号化の非効率性と非微分可能なスパイクダイナミクス）を克服すること。
• 大規模SNNが量子化されたアナログニューラルネットワーク（ANN）と同等またはそれを上回る性能を発揮しながら、イベント駆動型でスパースな計算を維持できることを実現すること。
• 主流のトレーニング後量子化パイプライン（OmniQuantおよびGPTQ）と互換性を持つ、即挿し可能な量子化フレームワークを開発すること。
• 三値スパイクニューロンを用いてSNNで完全に加法的な線形層を実現し、効率的でスパースかつ高精度な推論を可能にすること。

提案手法

• 複数のスパイクステップにわたり顕著な値を自己回帰的に符号化する一般化されたインテグレート・アンド・ファイア（GIF）ニューロンを提案。これにより、標準的なレート符号化に比べて意味的表現力が向上する。
• 一次勾配を用いた活性化チャネル選択と、二次勾配のヘッセ近似を用いた重みチャネル選択を行う、Saliency駆動型の量子化フレームワーク「最適化された脳スパイキング」を導入。
• チャネルごとの顕著な外れ値拡張を適用。顕著なチャネルにはより多くのスパイクステップ（Tステップ）を割り当て、顕著でないチャネルには1〜数ステップを割り当てる。
• 主流の量子化パイプライン（OmniQuant（4A4W）およびGPTQ（重みのみ量子化））に統合。これにより、既存のトレーニングワークフローとの互換性が確保される。
• 三値GIFニューロンを用いて完全に加法的な線形層を実現。混合精度量子化に代わるイベント駆動型スパイキングにより、効率性と精度が向上する。
• 計算コストとスパarsityの公平な評価のため、SNNとBNNを比較する指標として、等価なスパイクステップを用いる。

実験結果

リサーチクエスチョン

• RQ1 スパイキングニューラルネットワーク（SNN）は、70億〜700億パラメータのLLMにスケーリング可能であり、高い性能とエネルギー効率を維持できるか？
• RQ2 Saliencyベースのスパイキングは、従来の量子化と比較して、低ビット量子化されたLLMにおける意味的表現力と一般化性能をどのように向上させるか？
• RQ3 スパイクダイナミクスは、SNNで完全に加法的な線形層を実現できるか？また、PB-LLMのようなバイナリニューラルネットワーク（BNN）と同等またはそれを上回る性能を発揮できるか？
• RQ4 最適化された脳スパイキングフレームワークは、ランダムなスパイクステップ割り当てと比較して、精度と耐性にどのように優れているか？
• RQ5 Saliency駆動型スパイキングは、大規模LLMにおいて、エネルギー消費と推論遅延をどの程度低減できるか？

主な発見

• SpikeLLMは、LLAMA2-7BにおけるOmniQuant-4A4Wベースラインと比較して、WikiText2のPerplexityを25.51%低減した。これは、系列モデルにおける顕著な性能向上を示している。
• 6つのデータセットにおけるゼロショット評価では、SpikeLLMはOmniQuant-4A4Wベースラインと比較して平均精度を3.08%向上させた。
• SpikeLLMは、三値GIFニューロンを用いて完全に加法的な線形層を実現。混合精度量子化を排除し、スパースでイベント駆動型の計算を可能にした。
• PB-LLMとの比較では、SpikeLLMは100%のAC（Activation Channels）と1.25の等価ステップを達成し、平均精度52.10%を記録。これに対してPB-LLMは95%のACと1.35の等価ステップで平均精度48.70%であった。
• 最適化された脳スパイキングフレームワークは、活性化および重みチャネルの両方において、ランダムなスパイクステップ割り当てを著しく上回った。Saliency駆動型割り当ての有効性が裏付けられた。
• 70:25:5のスパイクステップ分布を用いたSpikeLLMは、PIQAで65.83%、ARC-eで68.47%の精度を達成。ゼロショット一般化性能が顕著に優れていた。