[논문 리뷰] Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm

Shaoyi Huang, Dongkuan Xu외 9명|arXiv (Cornell University)|2021. 10. 15.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 BERT 유사 모델의 미세조정 중 과적합을 줄이기 위해 점진적 모듈 결합, 지식 증류, 희소성 추론을 조합한 Sparse Progressive Distillation(SPD)을 제안한다. SPD는 GLUE 벤치마크에서 최신 기술보다 뛰어나 84.5의 평균 점수를 기록하며, MNLI 및 CoLA와 같은 작업에서 뚜렷한 향상이 이루어졌다.

ABSTRACT

Conventional wisdom in pruning Transformer-based language models is that pruning reduces the model expressiveness and thus is more likely to underfit rather than overfit. However, under the trending pretrain-and-finetune paradigm, we postulate a counter-traditional hypothesis, that is: pruning increases the risk of overfitting when performed at the fine-tuning phase. In this paper, we aim to address the overfitting problem and improve pruning performance via progressive knowledge distillation with error-bound properties. We show for the first time that reducing the risk of overfitting can help the effectiveness of pruning under the pretrain-and-finetune paradigm. Ablation studies and experiments on the GLUE benchmark show that our method outperforms the leading competitors across different tasks.

연구 동기 및 목표

• 사전학습-미세조정 파라다임에서 미세조정 중에 발생하는 절단으로 인한 역설적인 과적합 위험을 해결하기 위해.
• 기존의 직관과는 반대로 사전학습-미세조정 환경에서 절단이 과적합을 증가시키는 이유를 탐구하기 위해.
• 과적합을 완화하기 위해 절단 동안 일반 목적 지식과 작업별 지식을 모두 유지할 수 있는 방법을 개발하기 위해.
• 점진적 결합과 지식 증류를 통합하여 고희소성 조건에서 모델 성능과 강건성을 향상시키기 위해.
• 절단 중 과적합 위험이 증가한다는 가설을 실증적으로 검증하고, SPD를 통해 이를 완화할 수 있음을 보여주기 위해.

제안 방법

• SPD는 교사 모델의 절단된 레이어 아키텍처를 반영하는 학생 모델을 사용하여, 희소 학생 모듈을 교사 모델에 점진적으로 통합한다.
• 점진적 결합 전략은 교사 레이어를 학생 모듈로 점차적으로 교체할 확률을 증가시켜 안정적인 지식 전이를 가능하게 한다.
• 성능 저하를 최소화하기 위해 절단 기간 동안 지식 증류를 적용하여 교사에서 학생으로 지식을 전달한다.
• 절단과 증류를 위한 별도의 최적화 기법을 사용하며, 간섭을 줄이기 위해 각각 별도의 학습률 스케줄을 적용한다.
• 동적 절단률 스케줄러를 사용하여, 결합 확률이 목표 값에 도달할 때까지 절단을 종료함으로써 속도와 정확도의 균형을 이룬다.
• 최종 모델은 성능이 높고 파rameter가 감소한, 결합된 희소 학생 네트워크이다.

실험 결과

연구 질문

• RQ1 사전학습-미세조정 파라다임에서 미세조정 중 절단이 과적합 위험을 증가시키는가, 이는 기존의 직관과는 정반대인가?
• RQ2 점진적 모듈 결합과 지식 증류가 함께 작용하여 절단된 사전학습 언어 모델의 과적합을 완화할 수 있는가?
• RQ3 고희소성 조건에서 절단률, 결합 확률, 학습률 간의 상호작용이 모델 일반화에 어떤 영향을 미치는가?
• RQ4 과적합 완화에 있어 지식 증류와 점진적 결합 중 어느 것이 더 기여하는가?
• RQ5 SPD를 통해 교사 모델의 정확도를 유지하면서도 훨씬 더 작은 서브네트워크를 식별할 수 있는가?

주요 결과

• SPD는 평균 GLUE 점수 84.5를 기록하여, 미세조정된 BERT 교사 모델(83.7)과 모든 선도적인 경쟁자들을 능가한다.
• MNLI 작업에서 SPD는 85.0%의 정확도를 달성하여 교사 모델의 84.0%를 초월하며, 더 나은 일반화 능력을 보였다.
• CoLA 작업에서 SPD는 매튜스 상관계수 61.4%를 기록하여, 미세조정된 BERT 교사의 57.9%보다 뚜렷한 향상을 보였다.
• 절단 실험 분석 결과, 점진적 결합과 지식 증류를 함께 사용할 경우, 개별적으로 사용할 때보다 훈련-검증 성능 격차를 더 효과적으로 줄였다.
• 결합 확률 0.6에서 최적의 성능을 기록하였으며, 이중 최적화 기법은 단일 최적화 기법보다 수렴 속도와 최종 정확도를 향상시켰다.
• 특히 고희소성 수준에서 훈련 세트와 검증 세트 간의 성능 격차가 작아지며 과적합 완화 효과가 뚜렷하게 나타났다.