[논문 리뷰] ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models
이 논문은 대규모 언어 모델(LMs)에서 ReLU 활성화 함수를 재활용하여 내재된 활성화 희소성(activation sparsity)을 활용함으로써 추론 시 FLOPS를 최대 3배 감소시키며 성능 저하를 최소화하는 것을 주장한다. ReLU에서 유도된 구조적 희소성과 정규화 이후에 ReLU 레이어를 도입함으로써 효율적인 사전 추론(speculative decoding)과 모델 압축이 가능해지며, 이는 제한된 계산 자원 예산 하에서 ReLU 기반 LMs가 더 작은 밀집 모델보다 효율성과 정확도 면에서 뛰어나다는 것을 보여준다.
Large Language Models (LLMs) with billions of parameters have drastically transformed AI applications. However, their demanding computation during inference has raised significant challenges for deployment on resource-constrained devices. Despite recent trends favoring alternative activation functions such as GELU or SiLU, known for increased computation, this study strongly advocates for reinstating ReLU activation in LLMs. We demonstrate that using the ReLU activation function has a negligible impact on convergence and performance while significantly reducing computation and weight transfer. This reduction is particularly valuable during the memory-bound inference step, where efficiency is paramount. Exploring sparsity patterns in ReLU-based LLMs, we unveil the reutilization of activated neurons for generating new tokens and leveraging these insights, we propose practical strategies to substantially reduce LLM inference computation up to three times, using ReLU activations with minimal performance trade-offs.
연구 동기 및 목표
- GELU나 SiLU와 같은 더 매끄럽고 복잡한 대체 방법의 추세에도 불구하고, LLM에서 ReLU 활성화 함수를 재평가하고자 한다.
- ReLU 기반 LLM이 구조적 활성화 희소성 덕분에 뚜렷한 추론 효율성 향상을 이룰 수 있는지 조사하고자 한다.
- 기존의 비-ReLU LLM(예: Llama, Falcon)에 대해 ReLU를 도입하고 아키텍처 수정을 통해 FLOPS를 줄일 수 있는 실용적 방법을 탐색하고자 한다.
- 제한된 추론 FLOPS 예산 하에서 ReLU 기반 모델이 더 작은 밀집 모델보다 정확도 면에서 뛰어나게 될 수 있는지 입증하고자 한다.
- 활성화 희소성의 새로운 응용 분야를 밝혀내고자 하며, 예를 들어 사전 추론을 위한 집합적 희소성(aggregated sparsity)과 다른 활성화 함수 설계를 위한 사전 활성화 분석(pre-activation analysis)을 포함한다.
제안 방법
- 기존의 비-ReLU LLM(예: Llama, Falcon)을 ReLU 활성화 함수로 미세조정하여 원래 성능을 복원하면서도 추론 효율성을 확보한다.
- 정규화 레이어 이후에 추가적인 ReLU 레이어를 삽입하여 활성화 희소성을 더욱 강화하고 FLOPS를 감소시킨다.
- 집합적 희소성(aggregate sparsity)을 활용해 자동회귀 생성을 가속화하는 희소한 사전 추론 프레임워크를 제안한다.
- ReLU 훈련 모델의 사전 활성화 분포를 활용해, 예를 들어 이동된 ReLU(Mish 등)와 같은 대체 희소 활성화 함수의 설계를 이끈다.
- 토큰 생성 단계 동안 이미 활성화된 뉴런의 재사용을 측정하고 활용함으로써 재귀적 계산을 줄이기 위해 '집합적 희소성'을 정의하고 활용한다.
- 특정 무결성 패턴(예: 가중치 행렬에서 전체 행을 0으로 설정)을 적용하여 현대 하드웨어, 특히 메모리 제약 상황에서 추론을 가속화한다.
실험 결과
연구 질문
- RQ1LLM에서 ReLU를 사용할 경우 성능 저하 없이 뚜렷한 추론 효율성 향상이 이루어지는가?
- RQ2비-ReLU LLM(예: Llama, Falcon)이 ReLU 활성화 함수로 효과적으로 미세조정되어 원래 성능을 복원하면서 FLOPS가 감소할 수 있는가?
- RQ3자동회귀 생성에서 활성화 희소성을 얼마나 효과적으로 활용하여 사전 추론을 가속화할 수 있는가?
- RQ4사전 활성화 분포를 활용해 성능을 유지하면서도 희소성을 극대화하는 대체 희소 활성화 함수를 설계할 수 있는가?
- RQ5제한된 추론 FLOPS 예산 하에서 ReLU로 변환된 대규모 모델이 더 작은 밀집 모델보다 정확도 면에서 뛰어나게 되는가?
주요 결과
- OPT 모델에서 ReLU 기반 LLM이 활성화 희소성(90% 이상) 덕분에 추론 FLOPS를 최대 32% 감소시켜 토큰당 6.6G에서 4.5G FLOPS로 감소시켰다.
- 비-ReLU LLM을 ReLU 활성화 함수로 미세조정함으로써 추론 및 독해력 테스트에서 원래 성능을 거의 그대로 복원했으며, 정확도 저하가 최소한이었다.
- 정규화 이후 ReLU 레이어 삽입과 집합적 희소성 활용으로 추론 FLOPS를 최대 3배 감소시킬 수 있었다.
- ReLU 기반 모델을 활용한 희소한 사전 추론은 표준 사전 추론보다 더 높은 가속도를 달성했으며, 특히 높은 생성 속도(γ)에서 지속적인 희소성 덕분이었다.
- ReLU로 변환된 대규모 모델(예: OPT 6.7B)은 동일한 FLOPS 예산 하에서 더 작은 밀집 모델보다 정확도 면에서 뛰어나며, 원래의 모델 스케일링 곡선을 초월해 최대 2% 높은 zero-shot 정확도를 달성했다.
- 사전 활성화 분석을 통해 훈련 과정에서 자연스럽게 ReLU 유사 분포가 나타남을 확인했으며, 이는 이동된 ReLU 함수 설계에 기여하여 최대 90%의 희소성과 표준 ReLU와 유사한 성능을 달성할 수 있었다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.