[논문 리뷰] Poor Man's BERT: Smaller and Faster Transformer Models.

Hassan Sajjad, Fahim Dalvi외 2명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 45인용 수 83

한 줄 요약

이 논문은 재학습 없이 매개변수 제거를 통해 BERT, RoBERTa, XLNet 모델을 메모리 효율적으로 압축하는 방법을 제안한다. 이로 인해 최대 40%의 매개변수 감소를 이룩하면서도 원래 성능의 최대 98%를 유지한다. 결과적으로 더 작고 빠른 모델이 만들어지며, DistilBERT와 동일한 크기와 정확도를 달성하고, BERT와 XLNet 간의 직접 비교를 가능하게 한다.

ABSTRACT

The ongoing neural revolution in Natural Language Processing has recently been dominated by large-scale pre-trained Transformer models, where size does matter: it has been shown that the number of parameters in such a model is typically positively correlated with its performance. Naturally, this situation has unleashed a race for ever larger models, many of which, including the large versions of popular models such as BERT, XLNet, and RoBERTa, are now out of reach for researchers and practitioners without large-memory GPUs/TPUs. To address this issue, we explore a number of memory-light model reduction strategies that do not require model pre-training from scratch. The experimental results show that we are able to prune BERT, RoBERTa and XLNet models by up to 40%, while maintaining up to 98% of their original performance. We also show that our pruned models are on par with DistilBERT in terms of both model size and performance. Finally, our pruning strategies enable interesting comparative analysis between BERT and XLNet.

연구 동기 및 목표

• BERT, XLNet, RoBERTa와 같은 대규모 사전 훈련된 트랜스포머 모델의 높은 메모리 및 계산 비용 문제를 해결하기 위해.
• GPU/TPU 자원이 제한된 연구자 및 실무자들이 최신 기술 모델을 사용할 수 있도록 하기 위해.
• 재학습 없이도 모델 크기와 추론 시간을 줄일 수 있는 제거 전략을 개발하기 위해.
• 유사하게 압축된 버전을 만들어 BERT와 XLNet 간의 공정한 비교 분석을 가능하게 하기 위해.

제안 방법

• BERT, RoBERTa, XLNet 모델에서 전체 어텐션 헤드와 피드포워드 레이어를 제거하기 위해 구조적 제거를 적용한다.
• 절댓값 기반의 크기 기반 제거를 사용하여 중요도가 낮은 매개변수를 식별하고 제거한다.
• 각 제거 단계 이후 반복적인 미세조정을 적용하여 성능 손실를 복구한다.
• 모델 아키텍처와 어텐션 메커니즘을 유지하면서 매개변수 수를 줄인다.
• 높은 성능 유지를 위해 최소한의 정확도 저하로 성능을 유지할 수 있도록 제거 스케줄를 최적화한다.
• GLUE 벤치마크와 같은 다운스트림 NLP 작업에서 제거의 효과를 검증한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 BERT, RoBERTa, XLNet와 같은 대규모 사전 훈련된 트랜스포머 모델의 크기를 크게 줄일 수 있는가?
• RQ2 제거를 통해 얼마나 많은 매개변수를 줄일 수 있으며, 성능 유지는 어느 정도 유지할 수 있는가?
• RQ3 크기와 정확도 측면에서, 제거된 모델은 DistilBERT와 같은 디스틸 모델과 어떻게 비교될 수 있는가?
• RQ4 압축된 BERT와 XLNet 모델 간의 아키텍처 분석을 위해 의미 있는 비교가 가능한가?
• RQ5 최소한의 계산 비용으로 높은 성능을 유지할 수 있는 최적의 제거 전략은 무엇인가?

주요 결과

• 제안된 제거 방법은 BERT, RoBERTa, XLNet 모델의 매개변수 수를 최대 40%까지 감소시키면서도 성능 손실를 최소화했다.
• 제거된 모델은 다운스트림 NLP 작업에서 원래 성능의 최대 98%를 유지했다.
• 제거된 모델는 크기와 정확도 모두에서 DistilBERT와 유사한 성능를 달성했다.
• 유사하게 압축된 버전을 만들어 BERT와 XLNet 간의 직접 비교를 가능하게 했다.
• 다양한 다운스트림 작업에서 모델의 안정성과 일반화 능력이 유지되었다.
• 재학습 없이도 다양한 아키텍처에 효과적으로 적용될 수 있었다.