[논문 리뷰] ZipLM: Inference-Aware Structured Pruning of Language Models

Eldar Kurtic, Elias Frantar외 1명|arXiv (Cornell University)|2023. 02. 07.

Topic Modeling인용 수 7

한 줄 요약

ZipLM는 손실-실행시간 트레이드오프를 기반으로 반복적으로 모델 구성 요소를 제거하는 인퍼런스 인식 구조적 프루닝 프레임워크로, BERT 및 GPT 모델의 일괄 및 점진적 압축 설정 모두에서 최신 기술 수준의 정확도-속도 향상 트레이드오프를 달성한다. 이는 어떤 환경에서도 목표 인프런스 속도 향상을 보장하며, 최소한의 계산 비용으로 단일 실행에서 전체 압축 모델 패밀리를 생성한다.

ABSTRACT

The breakthrough performance of large language models (LLMs) comes with major computational footprints and high deployment costs. In this paper, we progress towards resolving this problem by proposing a novel structured compression approach for LLMs, called ZipLM. ZipLM achieves state-of-the-art accuracy-vs-speedup, while matching a set of desired target runtime speedups in any given inference environment. Specifically, given a model, a dataset, an inference environment, as well as a set of speedup targets, ZipLM iteratively identifies and removes components with the worst loss-runtime trade-off. Unlike prior methods that specialize in either the post-training/one-shot or the gradual compression setting, and only for specific families of models such as BERT (encoder) or GPT (decoder), ZipLM produces state-of-the-art compressed models across all these settings. Furthermore, ZipLM achieves superior results for a fraction of the computational cost relative to prior distillation and pruning techniques, making it a cost-effective approach for generating an entire family of smaller, faster, and highly accurate models, guaranteed to meet the desired inference specifications. In particular, ZipLM outperforms all prior BERT-base distillation and pruning techniques, such as CoFi, MiniLM, and TinyBERT. Moreover, it matches the performance of the heavily optimized MobileBERT model, obtained via extensive architecture search, by simply pruning the baseline BERT-large model. When compressing GPT2, ZipLM outperforms DistilGPT2 while being 60% smaller and 30% faster. Our code is available at: https://github.com/IST-DASLab/ZipLM.

연구 동기 및 목표

• 자원 제약 환경에서 대규모 언어 모델(LLM)의 높은 계산 비용과 구현 장벽을 해결하기 위해.
• 기존의 구조적 프루닝 및 희석 방법의 한계를 극복하기 위해, 이는 종종 런타임 속도 향상을 보장하지 못하거나 광범위한 재학습 및 하이퍼파라미터 튜닝을 요구하기 때문이다.
• 일괄 및 점진적 압축을 하나의 프레임워크로 통합하여, 수정 없이도 인코더(BERT) 및 디코더(GPT) 아키텍처 모두에서 작동하도록 하기 위해.
• 단일 최적화 실행에서 특정 목표 속도 향상에 부합하는 완전한 압축 모델 패밀리를 생성하는 실용적이고 효율적이며 인프런스 인식 방법을 제공하기 위해.

제안 방법

• ZipLM는 가중치 크기, 활성화 영향, 선형 중복 탐지 기반의 새로운 민감도 기준을 사용하며, 레이어 간 국소 및 전역 상관관계를 고려한다.
• 각 구성 요소의 정확도 및 런타임에 미치는 영향을 평가하는 인프런스 인식 프루닝 전략을 도입하여, 손실-실행시간 트레이드오프에서 가장 우수한 성능을 보이는 요소를 우선 제거한다.
• 수동 레이어 매칭이 필요 없이, 레이어 단위의 토큰 수준 희석 기법을 활용하여 소규모 데이터셋에서 정확도를 향상시킨다.
• 통합된 하이퍼파라미터 세트를 사용하여 단일 실행에서 여러 속도 향상 목표(예: 2x, 5x, 10x)에 대한 엔드 투 엔드 압축을 가능하게 하며, 일관된 성능과 속도 보장을 보장한다.
• ZipLM는 비구조적 프루닝 및 양자화와도 호환되어, CPU 기반 인프런스 환경에서 추가적인 압축과 성능 향상을 가능하게 한다.

Figure 1 : Illustration of the ZipLM pipeline: 1) inference specifications, 2) runtime benchmarking of candidates for pruning, 3) gradual structured pruning until all speedup targets are met.

실험 결과

연구 질문

• RQ1 구조적 프루닝은 아키텍처 수정 없이도 일괄 및 점진적 압축 설정 모두에서 최신 기술 수준의 정확도-속도 향상 트레이드오프를 달성할 수 있는가?
• RQ2 인프런스 인식 프루닝 전략은 반복적인 재학습 없이 다양한 하드웨어 환경에서 목표 런타임 속도 향상을 보장할 수 있는가?
• RQ3 제안된 방법은 BERT 및 GPT 모델 전반에서 희석 기반 및 이전의 프루닝 기법과 비교해 효율성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 극도의 압축 비율(예: 50x)에서의 구조적 프루닝의 확장성은 어떠한가? 모델 붕괴 없이도 가능한가?

주요 결과

• ZipLM는 아키텍처 검색 없이 BERT-large를 프루닝하여 MobileBERT의 성능을 달성하며, CoFi, MiniLM, TinyBERT와 같은 이전의 모든 희석 및 프루닝 기법보다 BERT-base에서 슈퍼리아어 성능을 발휘한다.
• GPT2에 대해 ZipLM는 DistilGPT2보다 60% 작고 30% 더 빠른 모델을 생성하면서도 뛰어난 성능을 달성한다.
• BERT-base에서 ZipLM는 단지 4,096개의 캘리브레이션 샘플을 사용해 1.5배 속도 향상 시 87.6 F1, 2.0배 속도 향상 시 84.7 F1의 성능을 달성했으며, 2,048개 샘플로 학습한 Kwon et al.의 성능을 초월한다.
• BERT-base를 14개의 속도 향상 목표(2x–15x)로 단일 실행에서 압축하기 위해 총 115개의 학습 에포크만 필요하며, 이는 CoFi가 요구하는 560개 에포크보다 4.87배 더 효율적이다.
• CPU에서 ZipLM는 전체 정확도 복구를 달성하며 13배 속도 향상을 이끌었고, 최대 압축 시 50배까지 가능했으며, 이는 이전의 복합 파이프라인보다 3~10배 뛰어난 성능을 발휘한다.
• 스케일링 법칙 분석 결과, 프루닝된 모델은 선형 정확도-속도 향상 관계를 따르며, BERT-large의 경우 F1 ≈ 92.1 − 0.3×speedup, BERT-base의 경우 F1 ≈ 90.3 − 0.6×speedup로 나타나 더 큰 모델일수록 더 높은 내성성을 보인다.