[논문 리뷰] Pre-trained Summarization Distillation

Sam Shleifer, Alexander M. Rush|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 25인용 수 57

한 줄 요약

이 논문은 대형 사전학습 요약 모델(BART, Pegasus)을 더 작고 빠른 학생 모델로 증류하기 위해 shrink-and-fine-tune(SFT), 지식 증류(KD), 가짜 레이블링(PL)을 비교하며, CNN/DailyMail에서 SFT가 종종 우승하고 XSUM에서 PL이 이기거나 비기며, 다양한 트레이드오프를 보인다.

ABSTRACT

Recent state-of-the-art approaches to summarization utilize large pre-trained Transformer models. Distilling these models to smaller student models has become critically important for practical use; however there are many different distillation methods proposed by the NLP literature. Recent work on distilling BERT for classification and regression tasks shows strong performance using direct knowledge distillation. Alternatively, machine translation practitioners distill using pseudo-labeling, where a small model is trained on the translations of a larger model. A third, simpler approach is to 'shrink and fine-tune' (SFT), which avoids any explicit distillation by copying parameters to a smaller student model and then fine-tuning. We compare these three approaches for distillation of Pegasus and BART, the current and former state of the art, pre-trained summarization models, and find that SFT outperforms knowledge distillation and pseudo-labeling on the CNN/DailyMail dataset, but under-performs pseudo-labeling on the more abstractive XSUM dataset. PyTorch Code and checkpoints of different sizes are available through Hugging Face transformers here http://tiny.cc/4iy0tz.

연구 동기 및 목표

• 실용적 사용을 위해 대형 사전학습 요약 모델의 압축을 촉진한다.
• 표준 데이터셋 CNN/Daily Mail과 XSUM에서 세 가지 증류 패밀리(SFT, KD, PL)를 체계적으로 비교한다.
• 작업 및 모델 크기에 따라 증류 전략을 선택하기 위한 구현 세부정보와 실증적 가이드를 제공한다.
• 품질(ROUGE)과 속도(추론 및 학습 시간) 간의 트레이드오프를 정량화한다.

제안 방법

• 세 가지 증류 패러다임을 정의한다: Shrink and Fine-Tune(SFT), Pseudo-Labeling(PL), Direct Knowledge Distillation(KD).
• 교사로부터 최대 간격으로 배치된 계층을 복사하여 학생 모델을 초기화하고 작업 데이터로 미세 조정한다.
• KD의 경우 로지츠, 데이터, 은닉 상태 손실의 가중합을 최소화한다( L_KD = alpha_logits L_logits + alpha_data L_data + alpha_hidden L_hidden ).
• 빔 검색으로 교사 요약을 생성하고 이 가짜 타깃으로 학생을 학습시켜 가짜 레이블을 사용한다( L_pseudo ).
• CNN/Daily Mail(비추상적)과 XSUM(더 추상적)에서 평가하고 다수의 교사-학생 쌍에 걸쳐 ROUGE-1/2/L을 보고한다.
• 각 증류 방법에 대한 학습 시간 비용과 추론 속도 향상을 보고한다.

실험 결과

연구 질문

• RQ1 어떤 증류 방법(SFT, KD, PL)이 BART와 Pegasus에 대해 속도와 요약 품질 간 최적의 트레이드오프를 제공하는가?
• RQ2 교사로부터 최대 간격의 계층을 복사하여 초기화하는 것이 사전 학습 없이도 효과적인 압축을 가능하게 하는가?
• RQ3 CNN/Daily Mail 대 XSUM(추상적 요약) 작업에서 증류 방법이 어떻게 다르게 작동하는가?
• RQ4 가짜 레이블의 품질과 크로스 태스크 전이(번역 벤치마크)가 증류 성능에 미치는 영향은 무엇인가?

주요 결과

교사	크기	데이터	교사 점수	SFT 점수	KD 점수	가짜 점수	비용
BART	12-3	XSUM	22.29	21.08	21.63	21.38	6
Pegasus	16-4	XSUM	24.56	22.64	21.92	23.18	34
BART	12-6	CNN	21.06	21.21	20.95	19.93	19.5
Pegasus	16-4	CNN	21.37	21.29	-	20.1	48
Marian	6-3	EN-RO	27.69	25.91	24.96	26.85	28
mBART	12-3	EN-RO	26.46	25.61	25.87	26.09	50

• CNN에서 SFT는 교사(BART, Pegasus) 전반에 걸쳐 비용이 더 큰 KD 및 PL 방법보다 우수하다.
• XSUM에서는 BART의 KD와 Pegasus의 PL이 SFT보다 우수할 수 있으며, 일부 설정에서 PL이 교사 성능에 가장 근접한다.
• 일부 증류 모델은 데이터셋 및 모델 조합에 따라 교사에 비해 ROUGE 손실은 작게 유지하면서도 상당한 속도 향상(예: 43-93% 더 빠름)을 달성한다.
• 가짜 레이블의 품질이 높고 원래 미세 조정 데이터와 결합될 때 가짜 레이블링은 성능을 크게 개선할 수 있다(Orig+PL, Orig+PL+PL).
• KD는 XSUM에서 SFT에 비해 이득이 제한적이고 교사 순방향 패스가 필요해 계산 비용이 더 많이 들며, PL은 강력한 대안이 될 수 있으며 특히 Pegasus에 유리하다.