[논문 리뷰] FastBERT: a Self-distilling BERT with Adaptive Inference Time

Weijie Liu, Peng Zhou외 4명|arXiv (Cornell University)|2020. 04. 05.

Topic Modeling참고 문헌 29인용 수 57

한 줄 요약

FastBERT는 단일 프레임워크 내에서 샘플별 적응 추론 메커니즘과 자기 증류를 도입하여 BERT 유사 모델의 속도를 높이면서 정확도를 유지하고, 원하는 트레이드오프에 따라 1x에서 12x까지의 속도 향상을 가능하게 한다.

ABSTRACT

Pre-trained language models like BERT have proven to be highly performant. However, they are often computationally expensive in many practical scenarios, for such heavy models can hardly be readily implemented with limited resources. To improve their efficiency with an assured model performance, we propose a novel speed-tunable FastBERT with adaptive inference time. The speed at inference can be flexibly adjusted under varying demands, while redundant calculation of samples is avoided. Moreover, this model adopts a unique self-distillation mechanism at fine-tuning, further enabling a greater computational efficacy with minimal loss in performance. Our model achieves promising results in twelve English and Chinese datasets. It is able to speed up by a wide range from 1 to 12 times than BERT if given different speedup thresholds to make a speed-performance tradeoff.

연구 동기 및 목표

• 동기 부여: 다양한 요청 부하가 있는 산업 현장에서 BERT의 추론 비용을 감소시키기.
• 제안: 샘플별 적응 추론과 자기 증류 학습 체계가 포함된 속도 조정 가능한 BERT 변형(FastBERT).
• 시연: FastBERT가 12개의 영어/중국어 NLP 작업에서 최소한의 정확도 손실로 상당한 속도 향상(1–12x)을 달성한다.
• 시연: 기존 BERT 유사 모델과의 호환성 및 실용적 배포 이점을 보여준다.

제안 방법

• Backbone: 교사 분류기가 포함된 12-layer Transformer 인코더.
• Branches: 각 Transformer 출력에 부착된 경량 학생 분류기로 조기 종료를 가능하게 한다.
• Training: 세 단계 프로세스 — backbone 사전 학습, backbone 미세 조정, 교사 출력에 대한 KL-divergence를 통한 학생 Branch의 자기 증류.
• Self-distillation: 같은 모델 내의 모든 학생 분기를 감독하기 위해 교사 소프트 레이블을 사용하여 증류를 위한 비라벨 데이터 사용을 가능하게 한다.
• Adaptive inference: 각 계층에서 학생 출력의 정규화 엔트로피(불확실성)를 계산하고 불확실성이 속도 임계값(Speed) 아래인 샘플을 중단한다.
• Uncertainty-Speed 규칙: Uncertainty가 작을수록 정확도가 높아지고(LUHA 가설) Speed가 높아질수록 전체 추론이 빨라진다.

실험 결과

연구 질문

• RQ1 샘플별 적응 추론을 도입하면 BERT와 비교하여 계산량을 줄이면서도 최소한의 정확도 손실이 발생하는가?
• RQ2 단일 모델 내 자기 증류가 외부 교사 모델 없이도 학생 분기 성능을 향상시킬 수 있는가?
• RQ3 다양한 영어 및 중국어 NLP 작업에서 속도-정확도 트레이드오프는 어떻게 작동하는가?
• RQ4 LUHA 가설이 계층과 데이터셋 전반에서 검증되는가?

주요 결과

• FastBERT는 Speed=0.1에서 대부분의 데이터셋에 대해 2–5x의 속도 향상을 달성하되 정확도 손실은 미미하다.
• 더 큰 정확도 손실을 허용할 때 FastBERT는 BERT 대비 7–11x의 속도 향상을 달성할 수 있다.
• 선택된 Speed 임계값에 따라 1x에서 12x까지의 속도 향상을 보여주며, 정확도는 경쟁력을 유지한다.
• 적응 추론은 쉬운 샘플을 조기 종료로 이동시켜 FLOPs를 크게 감소시키며, 이는 layer-exit 분포로 확인된다.
• 자기 증류를 통해 경량 학생 분류기 세트가 교사 성능에 근접하게 되며, 추론 시 전체 FLOPs를 감소시킨다.
• LUHA 가설은 경험적으로 검증되었다: 낮은 불확실성은 바닥, 중간, 상단 분류기 전반에서 더 높은 정확도와 상관된다.