[논문 리뷰] Rethinking Network Pruning -- under the Pre-train and Fine-tune Paradigm

Dongkuan Xu, Ian En-Hsu Yen외 2명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling참고 문헌 27인용 수 6

한 줄 요약

이 논문은 BERT의 파인튜닝 단계 동안 정규화된 희소성 프루닝을 적용하고, 파인튜닝된 테이처 모델로부터 지식 정복을 통해 일반 지식과 작업별 지식을 모두 유지하는 지식 인식 희소 프루닝 방법인 SparseBERT를 제안한다. GLUE에서 평균 정확도 손실이 1.4%에 불과한 20배의 파rameter 및 FLOPs 압축을 달성하며, 구조적 프루닝 및 정복 기반 모델을 포함한 이전 방법들을 능가한다.

ABSTRACT

Transformer-based pre-trained language models have significantly improved the performance of various natural language processing (NLP) tasks in the recent years. While effective and prevalent, these models are usually prohibitively large for resource-limited deployment scenarios. A thread of research has thus been working on applying network pruning techniques under the pretrain-then-finetune paradigm widely adopted in NLP. However, the existing pruning results on benchmark transformers, such as BERT, are not as remarkable as the pruning results in the literature of convolutional neural networks (CNNs). In particular, common wisdom in pruning CNN states that sparse pruning technique compresses a model more than that obtained by reducing number of channels and layers (Elsen et al., 2020; Zhu and Gupta, 2017), while existing works on sparse pruning of BERT yields inferior results than its small-dense counterparts such as TinyBERT (Jiao et al., 2020). In this work, we aim to fill this gap by studying how knowledge are transferred and lost during the pre-train, fine-tune, and pruning process, and proposing a knowledge-aware sparse pruning process that achieves significantly superior results than existing literature. We show for the first time that sparse pruning compresses a BERT model significantly more than reducing its number of channels and layers. Experiments on multiple data sets of GLUE benchmark show that our method outperforms the leading competitors with a 20-times weight/FLOPs compression and neglectable loss in prediction accuracy.

연구 동기 및 목표

• 사전 훈련된 언어 모델인 BERT와 같은 모델에서 희소 프루닝의 효과성이 구조적 프루닝에 비해 열등한 점을 보완하기 위해.
• 프루닝 과정에서 사전 훈련에서 유도된 일반 언어 지식과 파인튜닝에서 기인한 작업별 지식을 모두 유지하기 위해.
• 채널/레이어 감소보다 희소 프루닝이 BERT에서 훨씬 높은 압축 비율을 달성할 수 있음을 입증하기 위해.
• 특히 자원이 제한된 환경에서 극도의 희소성에서도 높은 성능을 유지할 수 있는 프루닝 전략을 개발하기 위해.
• 표준 벤치마크(GLUE, SQuAD)와 희소 추론을 지원하는 하드웨어 플랫폼에서 방법의 유효성을 검증하기 위해.

제안 방법

• 프루닝은 사전 훈련된 BERT를 학생 모델로, 파인튜닝된 BERT를 교사 모델로 사용하여 파인튜닝 단계에서 적용된다.
• 지식 정복을 통해 로짓 정복과 손실 최소화를 통한 교사 모델에서 학생 모델로 작업별 지식을 이관한다.
• 자기주의성 및 피드포워드 레이어의 선형 변환에 희소성 적용이 이루어지며, 이는 과잉 파ram터화되어 있고 계산 비용이 높은 구성요소로 식별된다.
• 주의 헤드나 임bed딩 레이어의 프루닝을 피하여 구조적 및 표현적 통합성을 유지한다.
• 프루닝 과정이 파인튜닝 루프에 통합되어 희소성과 성능을 동시에 최적화할 수 있도록 한다.
• 희소 텐서를 내장한 Moffett AI의 ANTOM 플랫폼에서 하드웨어 평가를 수행하여 실제 추론 속도 향상을 측정한다.

실험 결과

연구 질문

• RQ1 사전 훈련 및 파인튜닝 파라다임 하에서, 희소 프루닝이 채널 감소와 같은 구조적 프루닝보다 BERT에서 더 높은 압축 비율을 달성할 수 있는가?
• RQ2 사전 훈련과 파인튜닝에서 유도된 지식을 모두 프루닝 과정에서 유지할 수 있는 방법은 무엇인가?
• RQ3 파인튜닝 중 지식 정복을 통해 효과적인 희소 프루닝이 가능하며, 극도의 희소성에서도 높은 정확도를 유지할 수 있는가?
• RQ4 사전 훈련 단계에서의 프루닝 또는 정복 없이 파인튜닝 단계에서의 프루닝과 성능를 비교했을 때, 희소 프루닝의 성능는 어떠한가?
• RQ5 희소 텐서를 내장한 플랫폼에서 희소 BERT 모델의 실제 하드웨어 추론 속도 향상은 얼마나 되는가?

주요 결과

• SparseBERT는 BERT-base에서 5%의 남은 파arameter를 유지하면서도 GLUE 개발 세트에서 평균 정확도 손실이 1.4%에 불과한 20배의 압축을 달성한다.
• MRPC 데이터셋에서 SparseBERT는 파arameter를 85.53M에서 4.84M로 감소시키고, FLOPs를 10.87 GFLOPs에서 0.54 GFLOPs로 줄여 20배의 압축을 달성한다.
• GLUE 벤치마크에서 SparseBERT는 TinyBERT, DistilBERT, BERT-of-Theseus를 포함한 모든 주요 경쟁자들을 상회하며, 유사하거나 낮은 희소성 수준에서도 뛰어난 성능을 보인다.
• SQuAD v1.1 및 v2.0에서 SparseBERT는 하류 파인튜닝 단계에서의 프루닝보다 특히 고도의 희소성 수준에서 뛰어난 성능을 보인다.
• Moffett AI의 ANTOM 하드웨어에서 SparseBERT는 20배의 압축에서 10배 이상의 추론 속도 향상을 기록했으며, 4배 압축까지는 거의 선형적인 속도 향상을 보였다.
• 유사한 희소성 수준에서 사전 훈련 단계에서의 프루닝보다 SparseBERT가 더 우수한 피팅 능력을 보였으며, 이는 동일한 희소성 수준에서 RTE에서 더 낮은 훈련 손실과 더 높은 개발 세트 정확도로 입증되었다.