[논문 리뷰] SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking

Xingrun Xing, Boyan Gao외 6명|arXiv (Cornell University)|2024. 07. 05.

Ferroelectric and Negative Capacitance Devices인용 수 4

한 줄 요약

SpikeLLM는 사전적 동작 기반 스파iking 동역학을 LLM에 통합하여 7–70B 파라미터의 첫 번째 스파이킹 대규모 언어 모델(Spiking Large Language Model)을 제안한다. 이는 효율적이고 고정밀도의 양자화를 위한 새로운 Optimal Brain Spiking 프레임워크를 사용한다. SpikeLLM는 OmniQuant 및 GPTQ 파ip라인에서 최고 성능을 기록하며, WikiText2의 낙관도를 25.51% 감소시키고, PB-LLM보다 정확도와 희소성 측면에서 뛰어나며, 삼항 스파이킹 뉴런을 통해 완전히 누적 가능한 선형 레이어를 구현한다.

ABSTRACT

Recent advancements in large language models (LLMs) with billions of parameters have improved performance in various applications, but their inference processes demand significant energy and computational resources. In contrast, the human brain, with approximately 86 billion neurons, is much more energy-efficient than LLMs with similar parameters. Inspired by this, we redesign 7$\sim$70 billion parameter LLMs using bio-plausible spiking mechanisms, emulating the efficient behavior of the human brain. We propose the first spiking large language model, SpikeLLM. Coupled with the proposed model, two essential approaches are proposed to improve spike training efficiency: Generalized Integrate-and-Fire (GIF) neurons to compress spike length from $T$ to $\frac{T}{L} \log_2 L$ bits, and an Optimal Brain Spiking framework to divide outlier channels and allocate different $T$ for GIF neurons, which further compresses spike length to approximate $log_2T$ bits. The necessity of spike-driven LLM is proved by comparison with quantized LLMs with similar operations. In the OmniQuant pipeline, SpikeLLM reduces 11.01% WikiText2 perplexity and improves 2.55% accuracy of common scene reasoning on a LLAMA-7B W4A4 model. In the GPTQ pipeline, SpikeLLM achieves direct additive in linear layers, significantly exceeding PB-LLMs.

연구 동기 및 목표

• 스파이킹 신경망(SNNs)을 통해 뇌의 에너지 효율성을 모방함으로써 대규모 언어 모델(LLMs)의 높은 에너지 소비와 계산 비용 문제를 해결하기 위해.
• LLMs에 확장할 때 SNN의 한계인 화성 빈도 인코딩의 비효율성과 비미분 가능한 스파이킹 동역학 문제를 해결하기 위해.
• 대규모 SNN이 양자화된 ANNs와 동일하거나 이를 초월하는 성능을 유지하면서도 이벤트 기반, 희소 계산을 유지할 수 있도록 하기 위해.
• 기존의 주요 훈련 워크플로우와 호환 가능한, 즉시 적용 가능한 양자화 프레임워크를 개발하기 위해.
• 삼항 스파이킹 뉴런을 사용하여 SNN에서 완전히 누적 가능한 선형 레이어를 실현함으로써 효율적이고, 희소적이며, 정확도가 높은 추론을 가능하게 하기 위해.

제안 방법

• 다중 스파이크 단계를 거쳐 자동 회귀적으로 중요한 값을 인코딩하는 일반화된 적분-화성(GIF) 뉴런을 제안하여, 기존의 레이트 인코딩 대비 의미적 표현력을 향상시킨다.
• 일阶 도함수를 활용한 활성화 채널 선택과 이阶 헤시안 근사치를 활용한 가중치 채널 선택을 통한 사전적 동작 기반의 양자화 프레임워크인 Optimal Brain Spiking를 도입한다.
• 채널별로 사전적 외곽선 확장을 적용하여, 사전적 채널은 더 많은 스파이크 단계(T단위)를 할당하고, 비사전적 채널은 하나 또는 소수의 단계를 사용한다.
• 기존의 주요 양자화 파이프라인인 OmniQuant(4A4W) 및 GPTQ(가중치만의 양자화)에 프레임워크를 통합하여, 기존의 훈련 워크플로우와의 호환성을 확보한다.
• 삼항 GIF 뉴런을 사용하여 완전히 누적 가능한 선형 레이어를 실현하고, 혼합 정밀도 양자화를 이벤트 기반 스파이킹으로 대체함으로써 효율성과 정확도를 향상시킨다.
• 계산 비용과 희소성의 공정한 평가를 보장하기 위해, SNN과 BNN 간 비교를 위한 등가 스파이크 단계를 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망은 고성능과 에너지 효율성을 유지하면서 70억~700억 파라미터의 LLM으로 확장될 수 있는가?
• RQ2 사전적 동작 기반 스파이킹은 기존의 양자화 방식에 비해 저비트 양자화된 LLM에서 의미적 표현력과 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ3 스파이킹 동역학은 SNN에서 완전히 누적 가능한 선형 레이어를 실현할 수 있는가? 이는 PB-LLM과 같은 이진 신경망의 성능을 충족하거나 초월할 수 있는가?
• RQ4 Optimal Brain Spiking 프레임워크는 정확도와 강건성 측면에서 무작위 스파이크 단계 할당 방식보다 어떻게 뛰어나게 되는가?
• RQ5 사전적 동작 기반 스파이킹은 대규모 LLM에서 에너지 소비와 추론 지연을 얼마나 줄일 수 있는가?

주요 결과

• SpikeLLM는 LLAMA2-7B에서 OmniQuant-4A4W 기준 대비 WikiText2 낙관도를 25.51% 감소시켜 시퀀스 모델링에서 뚜렷한 성능 향상을 보였다.
• 6개 데이터셋에 걸친 제로샷 평가에서, SpikeLLM는 OmniQuant-4A4W 기준 평균 정확도를 3.08% 향상시켰다.
• SpikeLLM는 삼항 GIF 뉴런을 통해 완전히 누적 가능한 선형 레이어를 실현하여 혼합 정밀도 양자화 없이도 희소하고 이벤트 기반의 계산을 가능하게 하였다.
• PB-LLM와의 비교에서, SpikeLLM는 100% ACs와 1.25개의 등가 스파이크 단계를 기록했고, 평균 정확도 52.10%를 달성하여, PB-LLM의 95% ACs와 1.35개의 등가 단계를 기록한 것보다 뛰어났다.
• Optimal Brain Spiking 프레임워크는 활성화 및 가중치 채널 양측에서 무작위 스파이크 단계 할당 방식보다 뚜렷하게 뛰어난 성능을 보이며, 사전적 동작 기반 할당의 효과성을 입증하였다.
• 70:25:5 스파이크 단계 분포를 사용한 SpikeLLM는 PIQA에서 65.83%, ARC-e에서 68.47%의 정확도를 기록하여 강력한 제로샷 일반화 능력을 보였다.