[논문 리뷰] The Emergence of Essential Sparsity in Large Pre-trained Models: The Weights that Matter

Ajay Jaiswal, Shiwei Liu외 2명|arXiv (Cornell University)|2023. 06. 06.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 대규모 사전 훈련된 트랜스포머에서 '필수 희소성(essential sparsity)'을 도입한다—한 번의 프루닝으로 가장 작은 크기의 가중치를 제거할 경우, 임계 희소성 임계점 이상에서 성능이 급격히 저하되는 현상이다. 저자들은 재훈련 없이도 밀도 있는 체크포인트 내에 고성능의 희소 서브넷워크가 존재함을 보여주며, 이는 현대적 LLM인 Vicuna-7B와 같은 모델들에서도 자유롭고 이식 가능한 프루닝을 가능하게 한다.

ABSTRACT

Large pre-trained transformers are show-stealer in modern-day deep learning, and it becomes crucial to comprehend the parsimonious patterns that exist within them as they grow in scale. With exploding parameter counts, Lottery Ticket Hypothesis (LTH) and its variants, have lost their pragmatism in sparsifying them due to high computation and memory bottleneck of repetitive train-prune-retrain routine of iterative magnitude pruning (IMP) which worsens with increasing model size. This paper comprehensively studies induced sparse patterns across multiple large pre-trained vision and language transformers. We propose the existence of -- essential sparsity defined with a sharp dropping point beyond which the performance declines much faster w.r.t the rise of sparsity level, when we directly remove weights with the smallest magnitudes in one-shot without re-training. We also find essential sparsity to hold valid for N:M sparsity patterns as well as on modern-scale large language models (Vicuna-7B). We also present an intriguing emerging phenomenon of abrupt sparsification during the pre-training of BERT, i.e., BERT suddenly becomes heavily sparse in pre-training after certain iterations. Moreover, our observations also indicate a counter-intuitive finding that BERT trained with a larger amount of pre-training data tends to have a better ability to condense knowledge in comparatively relatively fewer parameters. Lastly, we investigate the effect of the pre-training loss on essential sparsity and discover that self-supervised learning (SSL) objectives trigger stronger emergent sparsification properties than supervised learning (SL). Our codes are available at \url{https://github.com/VITA-Group/essential_sparsity}.

연구 동기 및 목표

• 대규모 사전 훈련된 트랜스포머에서 이전에 간과되었던 구조적 특성인 '필수 희소성'을 식별하고 검증하는 것.
• 한 번의 크기 기반 프루닝으로 재훈련 없이도 고성능의 희소 서브넷워크를 식별할 수 있음을 보여주는 것.
• 필수 희소성이 ViT, BERT, Vicuna-7B와 같은 다양한 아키텍처에 걸쳐 성립하는지 조사하는 것.
• 특히 BERT에서의 프루닝 형성 과정이 pre-training 기간 동안 어떻게 발생하는지, 그리고 pre-training 데이터와 손실 목표 함수에 따라 어떻게 달라지는지 분석하는 것.
• 한 번의 프루닝(OMP)과 반복적 크기 기반 프루닝(LTH)의 성능를 비교하고, 다양한 다운스트림 작업 간의 이식 가능성 평가하는 것.

제안 방법

• 한 번의 크기 기반 프루닝에서 성능 저하가 급격히 발생하는 임계점으로서 '필수 희소성'을 제안한다.
• 재훈련 없이도 가장 작은 크기의 가중치를 제거함으로써 사전 훈련된 체크포인트에 대해 한 번의 크기 기반 프루닝(OMP)을 적용한다.
• 다운스트림 작업에서 프루닝된 서브넷워크의 성능을 평가하여 OMP, 러팅 티켓 가설(LTH), SparseGPT와 비교한다.
• BERT에 대한 분석 실험을 통해 pre-training 기간 동안의 희소화 형성 과정을 분석하며, 데이터 크기와 pre-training 목표 함수를 다양하게 설정한다.
• LTH와 OMP의 프루닝 마스크 간의 코사인 유사도를 계산하여 마스크 유사도와 작업 간 이식 가능성 평가한다.
• Vicuna-7B에 대해 OMP 및 SparseGPT 프루닝 후 MMLU 벤치마크를 사용해 제로샷 성능을 평가하여 현대적 LLM에서의 필수 희소성 검증한다.

Figure 1: Naturally induced sparsity patterns of bert-base-uncased across the components of transformer blocks. The pre-trained model is pruned by 21.50% using one-shot-magnitude pruning. Yellow dots indicate the location of pruned low-magnitude weights.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 비전 및 언어 트랜스포머에서 필수 희소성이 존재하는가, 그리고 이는 다양한 다운스트림 작업 간 이식 가능한가?
• RQ2 한 번의 크기 기반 프루닝이 반복적 훈련(LTH)으로 발견된 것과 유사한 고성능의 희소 서브넷워크를 식별할 수 있는가?
• RQ3 BERT의 pre-training 기간 동안 희소화 형성이 급격히 발생하는가, 만약 그렇다면 언제, 그리고 왜 그런가?
• RQ4 pre-training 데이터 볼륨이 모델이 더 적은 파라미터로 지식을 압축하는 능력에 어떻게 영향을 미치는가?
• RQ5 자기지도 학습 목표 함수가 지도 학습 목표 함수보다 더 강한 잠재적 희소화를 유도하는가?

주요 결과

• 필수 희소성은 ViT, BERT, Vicuna-7B와 같은 다양한 대규모 사전 훈련된 모델에서 존재하며, 임계 희소성 임계점 이상에서 성능 저하가 급격히 발생한다.
• 50% 이하의 희소성 수준에서 한 번의 크기 기반 프루닝(OMP)이 LTH 성능과 유사한 성능을 달성함으로써, 재훈련 없이도 밀도 있는 체크포인트 내에 고성능의 희소 서브넷워크가 존재함을 시사한다.
• OMP와 LTH 마스크 간의 코사인 유사도가 필수 희소성 범위에서 높게 유지되며, 이는 OMP가 추가 비용 없이 유사하고 이식 가능한 서브넷워크를 식별함을 시사한다.
• BERT는 pre-training 기간 동안 급격한 희소화를 경험하며, 일정한 훈련 반복 이후에 급격히 희소해짐을 보이며, 이는 동적 구조 형성의 특성을 나타낸다.
• 더 큰 데이터셋으로 사전 훈련된 모델은 더 적은 파라미터로 지식을 압축하는 능력이 뛰어나지 않아, 파라미터 효율성이 향상됨을 시사한다.
• 자기지도 학습(SSL) 목표 함수는 지도 학습(SL) 목표 함수보다 더 강한 잠재적 희소화를 유도하며, 이는 SSL이 더 내재된 희소성 형성을 촉진함을 시사한다.

Figure 2: Fine-tuning performance drop estimated with respect to dense counterpart for various downstream tasks of NLP pre-trained models ( bert-base, OPT-125m, OPT-350m, OPT-1.3B ). Note that for fair evaluation, we have used exactly same fine-tuning settings across all pruning ratios.