[논문 리뷰] Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs

Yuxin Zhang, Lirui Zhao외 7명|arXiv (Cornell University)|2023. 10. 13.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 재학습 없이도 성능을 향상시키는 동적 희소성 없는 훈련(DS No T)을 제안한다. 이는 반복적이고 기울기 없는 가중치 제거와 증식을 통해 희소 대규모 언어 모델(LLM)의 성능을 향상시키는 훈련 없는 미세조정 방법이다. 조밀한 모델과 희소 모델 출력 간의 재구성 오차를 기대값과 분산 인식 기준을 사용해 최소화함으로써, DS No T는 백프로파게이션 없이 선형 시간 내에 작동하면서도 최신 기술 수준의 성능을 달성한다. LLaMA-7B에서 70% 희소성일 때 Wanda를 26.79 퍼플렉서티 향상시키며 스테이트오브더아트 성능을 보였다.

ABSTRACT

The ever-increasing large language models (LLMs), though opening a potential path for the upcoming artificial general intelligence, sadly drops a daunting obstacle on the way towards their on-device deployment. As one of the most well-established pre-LLMs approaches in reducing model complexity, network pruning appears to lag behind in the era of LLMs, due mostly to its costly fine-tuning (or re-training) necessity under the massive volumes of model parameter and training data. To close this industry-academia gap, we introduce Dynamic Sparse No Training (DSnoT), a training-free fine-tuning approach that slightly updates sparse LLMs without the expensive backpropagation and any weight updates. Inspired by the Dynamic Sparse Training, DSnoT minimizes the reconstruction error between the dense and sparse LLMs, in the fashion of performing iterative weight pruning-and-growing on top of sparse LLMs. To accomplish this purpose, DSnoT particularly takes into account the anticipated reduction in reconstruction error for pruning and growing, as well as the variance w.r.t. different input data for growing each weight. This practice can be executed efficiently in linear time since its obviates the need of backpropagation for fine-tuning LLMs. Extensive experiments on LLaMA-V1/V2, Vicuna, and OPT across various benchmarks demonstrate the effectiveness of DSnoT in enhancing the performance of sparse LLMs, especially at high sparsity levels. For instance, DSnoT is able to outperform the state-of-the-art Wanda by 26.79 perplexity at 70% sparsity with LLaMA-7B. Our paper offers fresh insights into how to fine-tune sparse LLMs in an efficient training-free manner and open new venues to scale the great potential of sparsity to LLMs. Codes are available at https://github.com/zyxxmu/DSnoT.

연구 동기 및 목표

• 모델 압축에도 불구하고 장치 내 배포에 걸림돌이 되고 있는 희소 LLM의 미세조정에 따른 높은 계산 비용을 해결한다.
• 효율적인 훈련 없는 적응을 통해 학술 연구와 산업 현장 간 격차를 좁힌다.
• 희소성 수준이 높아질수록 성능이 저하되는 기존의 제거 방법인 SparseGPT과 Wanda의 한계를 극복한다.
• 백프로파게이션 또는 가중치 갱신 없이도 희소 LLM의 성능을 향상시키는 방법을 개발하며, 재구성 오차 최소화를 기반으로 한다.
• 제한된 校정 데이터와 높은 희소성에 강건성을 확보하여 자원 제약이 있는 장치에서의 실용적 배포를 가능하게 한다.

제안 방법

• 재구성 오차를 최소화하기 위해 반복적이고 기울기 없는 가중치 제거와 증식을 수행함으로써, 동적 희소 훈련(DST) 원리를 희소 LLM에 적용한다.
• 비판적인 이방성 가중치를 제거하지 않기 위해 재구성 오차 감소 기대값에 기반한 새로운 제거 기준을 도입한다.
• 재구성 오차 감소 기대값이 높고 입력 시퀀스 간 분산이 낮은 가중치를 우선순위로 삼아 안정적이고 효과적인 업데이트를 보장하는 증식 기준을 제안한다.
• 각 가중치의 증식이 재구성 오차에 미치는 영향을 추정하기 위해 소량의 입력 시퀀스를 사용한 校정 단계를 도입함으로써 효율적이고 데이터 기반의 결정을 가능하게 한다.
• 백프로파게이션을 피하고 전방 전파 통계에만 의존함으로써 선형 시간 내에 알고리즘을 실행함으로써 대규모 모델로의 확장성을 확보한다.
• 재구성 오차 최소화를 동적 최적화 문제로 공식화하여, 각 가중치의 기대값과 분산 인식 영향에 따라 희소 구조가 반복적으로 진화하도록 한다.

Figure 1: Perplexity on WikiText-2 ( left ) and running time ( right ) of different methods for pruning LLaMA-V1 model family at 60% sparsity rate. Without any training, DS \faBan T consistently improves the performance of sparse LLMs, all within a linear time spectrum.

실험 결과

연구 질문

• RQ1 백프로파게이션 또는 가중치 갱신 없이도 훈련 없는 방법이 희소 LLM의 성능을 크게 향상시킬 수 있는가?
• RQ2 DS No T는 Wanda나 SparseGPT와 같은 기존의 제거 방법과 비교해 높은 희소성 수준에서 성능 면에서 어떻게 다른가?
• RQ3 Hessian 기반 또는 크기 기반 방법과 비교해 DS No T는 제한된 校정 데이터에 대해 얼마나 더 강건한가?
• RQ4 희소 LLM에서 반복적인 제거와 증식에 최적의 업데이트 스케줄과 정지 기준은 무엇인가?
• RQ5 기대값과 분산 인식 기준을 사용한 제거 및 증식이 크기 기반 또는 두 번째 차수 방법보다 더 나은 성능을 낼 수 있는가?

주요 결과

• LLaMA-7B에서 70% 희소성일 때 DS No T는 Wanda를 26.79 퍼플렉서티 향상시키며 훈련 없는 미세조정에서 스테이트오브더아트 성능을 입증했다.
• 60% 희소성일 때 DS No T는 일곱 개의 다운스트림 작업에서 평균 제로샷 정확도를 SparseGPT보다 1.6%p 향상시켰으며, 모든 작업에서 일관된 성과 향상을 보였다.
• 단지 10개의 校정 시퀀스만으로도 강력한 성능을 유지했으며, SparseGPT는 저데이터 조건에서 급격히 성능이 저하되는 것과 대비해 뚜렷한 우월성을 보였다.
• 최적의 업데이트 스케줄은 재구성 오차 감소 기준으로 50개의 사이클과 0.1의 임계값을 사용하며, 校정 데이터에 대한 과적합 또는 과소적합을 방지한다.
• 기대 재구성 오차 감소 기반의 제거가 크기 기반 제거보다 더 좋은 결과를 낳으며, 이는 이방성 채널 가중치를 유지하는 것이 중요하다는 것을 시사한다.
• 기대 오차 감소와 분산을 균형 있게 고려한 제안된 증식 기준이 최고의 성능을 달성하여, 동적 구조 진화를 이끄는 데 효과적임을 확인했다.

Figure 2: Framework of DS \faBan T .