[논문 리뷰] Exploring Extreme Parameter Compression for Pre-trained Language Models

Yu‐Xin Ren, Benyou Wang외 3명|arXiv (Cornell University)|2022. 05. 20.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 사전에 학습된 언어 모델의 극한의 파라미터 압축을 위한 터커 텐서 분해 기반 방법을 제안한다. 이 방법은 BERT의 트랜스포머 레이어에서 최대 48배의 파라미터 감소를 이끌어내며 성능 저하를 최소화한다. 효율적인 복원 프로토콜과 지식 증류를 활용하여, 임bedding을 제외한 200만 개의 파라미터로 BERT-base의 96.7% 성능을 유지하면서도 추론 속도가 2.7배 빨라진다.

ABSTRACT

Recent work explored the potential of large-scale Transformer-based pre-trained models, especially Pre-trained Language Models (PLMs) in natural language processing. This raises many concerns from various perspectives, e.g., financial costs and carbon emissions. Compressing PLMs like BERT with negligible performance loss for faster inference and cheaper deployment has attracted much attention. In this work, we aim to explore larger compression ratios for PLMs, among which tensor decomposition is a potential but under-investigated one. Two decomposition and reconstruction protocols are further proposed to improve the effectiveness and efficiency during compression. Our compressed BERT with ${1}/{7}$ parameters in Transformer layers performs on-par with, sometimes slightly better than the original BERT in GLUE benchmark. A tiny version achieves $96.7\%$ performance of BERT-base with $ {1}/{48} $ encoder parameters (i.e., less than 2M parameters excluding the embedding layer) and $2.7 imes$ faster on inference. To show that the proposed method is orthogonal to existing compression methods like knowledge distillation, we also explore the benefit of the proposed method on a distilled BERT.

연구 동기 및 목표

• 사전에 학습된 언어 모델(PLM)에 대해 기존 방법을 초월하는 극한의 파라미터 압축 비율을 탐색하기 위해.
• BERT와 같은 대규모 PLM의 높은 계산 및 구현 비용 문제를 해결하기 위해.
• 특히 터커 분해를 포함한 텐서 분해 기법이 PLM에 대해 실현 가능하고 효율적인 압축 방법이 될 수 있는지 조사하기 위해.
• 모델 정확도를 유지하면서 추론 오버헤드를 줄이는 데 초점을 맞춘 효율적인 복원 프rotocol 개발을 위해.
• TinyBERT와 같은 증류된 모델에 적용하여 지식 증류와의 상호보완성을 입증하기 위해.

제안 방법

• PLM 내 행렬 및 텐서 분해를 분석하기 위한 공식적 프레임워크를 제안하며, 행렬 내부 및 행렬 간의 중복성을 구분한다.
• 공유된 U 및 V 행렬과 코어 텐서 C를 사용하여 어텐션 및 피드포워드 네트워크의 가중치 행렬에 대해 터커 분해(IV)를 적용한다.
• 추론 중 추가 계산을 최소화하면서도 모델 출력을 유지할 수 있도록 재정렬 기반 복원 프로토콜을 도입한다.
• 낮은 랭크 분해로 발생하는 근사 오차를 보완하기 위해, 압축된 모델의 예측을 원본 모델의 출력과 일치시키는 데 지식 증류를 사용한다.
• 터커 분해에서 '행렬 백업' 메커니즘을 도입하여 레이어 간에 거의 일정한 파라미터 스케일을 유지함으로써 압축 효율성을 향상시킨다.
• BERT에서의 방법 검증을 통해 TinyBERT와 같은 증류된 모델로의 확장도 가능함을 보이며, 지식 증류와의 상호보완적 이점을 입증한다.

실험 결과

연구 질문

• RQ1 터커 분해가 매트릭스 또는 텐서 트레인 분해보다 PLM에서 훨씬 높은 압축 비율을 달성하면서도 성능을 유지할 수 있는가?
• RQ2 압축된 모델에서 복원 오버헤드를 어떻게 최소화하여 추론 속도를 유지할 수 있는가?
• RQ3 어텐션 및 피드포워드 레이어의 파라미터 중복성을 텐서 분해를 통해 얼마나 잘 활용할 수 있는가?
• RQ4 이미 증류된 모델인 TinyBERT에 적용했을 때도 제안된 방법이 효과를 유지하는가?
• RQ5 1/48의 원본 파라미터 비율과 같은 극한의 압축 비율에서도 압축된 모델이 높은 정확도를 유지할 수 있는가?

주요 결과

• 트랜스포머 레이어에서 원본 파라미터의 1/7로 압축된 BERT 모델이 GLUE 벤치마크에서 원본 BERT와 동등한 성능을 달성한다.
• 에코더 파라미터가 원본의 1/48 이하(임베딩을 제외한 경우 약 200만 개 이하)인 소형 BERT 버전이 BERT-base 성능의 96.7%를 유지한다.
• 압축된 모델은 원본 BERT보다 추론 속도가 2.7배 빠르다.
• 압축 비율과 파라미터 효율성 측면에서 터커 분해가 매트릭스 및 텐서 트레인 분해를 뛰어넘는다.
• 지식 증류와의 상호보완성이 입증되었으며, 이는 TinyBERT에 적용했을 때 추가 비용을 최소화하면서 성능 향상을 이룬다.
• 요인 벡터 분석을 통해 어노테이션 및 피드포워드 레이어 간의 가중치 행렬에서 층 간 유사성 패턴을 발견하여, 레이어 간에 학습된 표현의 구조적 일관성이 존재함을 시사한다.