[논문 리뷰] On the Effect of Dropping Layers of Pre-trained Transformer Models

Hassan Sajjad, Fahim Dalvi외 2명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 재학습이 필요 없이 효율적인 전이 학습을 달성하기 위해 사전 훈련된 트랜스포머 모델(BERT, RoBERTa, XLNet, ALBERT, DistilBERT)에서 레이어를 제거하는 방법을 제안한다. 상단, 하단, 중간 또는 번갈아가며 레이어를 체계적으로 제거함으로써, GLUE 작업에서 원래 성능의 최대 98.2%를 유지하면서 모델 크기를 최대 40%까지 줄일 수 있으며, 이는 재학습 없이도 지식 정규화 결과와 동등한 성능을 달성한다.

ABSTRACT

Transformer-based NLP models are trained using hundreds of millions or even billions of parameters, limiting their applicability in computationally constrained environments. While the number of parameters generally correlates with performance, it is not clear whether the entire network is required for a downstream task. Motivated by the recent work on pruning and distilling pre-trained models, we explore strategies to drop layers in pre-trained models, and observe the effect of pruning on downstream GLUE tasks. We were able to prune BERT, RoBERTa and XLNet models up to 40%, while maintaining up to 98% of their original performance. Additionally we show that our pruned models are on par with those built using knowledge distillation, both in terms of size and performance. Our experiments yield interesting observations such as, (i) the lower layers are most critical to maintain downstream task performance, (ii) some tasks such as paraphrase detection and sentence similarity are more robust to the dropping of layers, and (iii) models trained using a different objective function exhibit different learning patterns and w.r.t the layer dropping.

연구 동기 및 목표

• 사전 훈련된 트랜스포머 모델의 모든 레이어가 다운스트림 자연어 처리 작업에 필수적인지 여부를 조사하는 것.
• 제거 후 성능 유지에 가장 중요한 레이어를 특정하는 것.
• 성능을 유지하면서 모델 크기를 줄이는 데 효과적인, 재학습이 없는 전략을 개발하는 것.
• 레이어 제거의 효과성과 지식 정규화 및 기타 압축 기법을 비교하는 것.
• 다양한 사전 훈련 목표(자동인코딩 대 자동회귀)가 레이어 중요도 및 학습 역학에 미치는 영향을 분석하는 것.

제안 방법

• 저자는 사전 훈련된 모델에서 상단, 하단, 중간 또는 번갈아가며 레이어를 제거하는 다양한 레이어 제거 전략을 평가한다.
• 활성화 패턴과 가중치 통계를 사용하여 기여도가 가장 낮은 레이어를 식별하고 제거한다.
• 이 방법은 BERT, RoBERTa, XLNet, ALBERT, DistilBERT에 적용되며, 나머지 레이어에 대해서만 미세조정을 수행한다.
• 성능 평가는 SST-2, MNLI, QNLI, QQP, STS-B와 같은 다양한 자연어 처리 작업에서 GLUE 벤치마크를 통해 평가된다.
• 지식 정규화 및 기타 제거 방법(예: 근사 레이어 제거(GLP) 및 LayerDrop)와의 비교가 이루어진다.
• 저자는 또한 레이어 제거 후에 제거된 모델을 미세조정하여 작업별 적응이 성능 향상에 기여하는지 평가한다.

실험 결과

연구 질문

• RQ1 재학습이 필요 없이 사전 훈련된 트랜스포머에서 레이어를 제거함으로써 상당한 모델 압축을 달성할 수 있는가?
• RQ2 상단, 하단, 중간 또는 번갈아가며 제거하는 레이어 중에서 어떤 것이 다운스트림 작업 성능 유지에 가장 중요한가?
• RQ3 정확도, 크기, 추론 속도 측면에서 제거된 모델의 성능가 지식 정규화 기반 모델과 비교해 볼 때 어떻게 되는가?
• RQ4 다른 사전 훈련 목표(예: 자동인코딩 대 자동회귀)는 레이어 중요도 패턴과 학습 역학에 다른 영향을 미치는가?
• RQ5 DistilBERT와 같은 정규화된 모델은 추가로 제거될 수 있으며, 그 과정에서 발생하는 성능 상실은 무엇인가?

주요 결과

• BERT, RoBERTa, XLNet에서 최대 40%의 레이어를 제거해도 GLUE 작업에서 원래 성능의 최대 98.2%를 유지할 수 있다.
• 상단 레이어를 제거하는 것은 다양한 모델과 작업에서 일관되게 성능을 유지하며, LayerDrop 및 근사 제거 기반 모델보다 우수하거나 동등한 성능을 보인다.
• 하단 레이어가 다운스트림 작업 성능 유지에 가장 중요하며, 일부 작업에서는 12개 레이어 중 3개만으로도 원래 성능의 1% 이내를 유지할 수 있다.
• 제거된 모델은 정확도, 모델 크기, 추론 속도 측면에서 지식 정규화 기반 모델과 동등한 성능를 보이며, 재학습이나 교사 모델이 필요하지 않다.
• DistilBERT는 추가로 제거 가능하며, 평균적으로 전체 레이어의 1/3을 제거해도 GLUE 점수 평균 0.75점의 성능 하락만을 보인다.
• RoBERTa 및 XLNet는 BERT보다 네트워크의 초기 단계에서 작업별 지식을 더 일찍 학습하므로, 레이어 제거에 더 강건하다.