[논문 리뷰] Accelerating Pre-trained Language Models via Calibrated Cascade.

Lei Li, Yankai Lin외 6명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 15인용 수 8

한 줄 요약

이 논문은 어려움 인식 목표를 사용하여 예측 신뢰도를 향상시키고, 동적으로 완전한 점진적으로 더 큰 모델을 계단식으로 선택함으로써 사전 훈련된 언어 모델의 속도를 가속화하는 校정된 계단형 방법인 CascadeBERT를 제안한다. 실험 결과, 동적 조기 종료 및 지식 정련 기반 기준보다 속도-정확도 트레이드오프에서 뛰어난 성능을 보였다.

ABSTRACT

Dynamic early exiting aims to accelerate pre-trained language models' (PLMs) inference by exiting in shallow layer without passing through the entire model. In this paper, we analyze the working mechanism of dynamic early exiting and find it cannot achieve a satisfying trade-off between inference speed and performance. On one hand, the PLMs' representations in shallow layers are not sufficient for accurate prediction. One the other hand, the internal off-ramps cannot provide reliable exiting decisions. To remedy this, we instead propose CascadeBERT, which dynamically selects a proper-sized, complete model in a cascading manner. To obtain more reliable model selection, we further devise a difficulty-aware objective, encouraging the model output class probability to reflect the real difficulty of each instance. Extensive experimental results demonstrate the superiority of our proposal over strong baseline models of PLMs' acceleration including both dynamic early exiting and knowledge distillation methods.

연구 동기 및 목표

• 사전 훈련된 언어 모델에서 동적 조기 종료 기법의 한계를 해결하기 위해, 얕은 층에서의 표현이 부족하고 종료 결정이 신뢰할 수 없는 문제를 해결한다.
• 조기 종료를 대체하여 완전한 점진적으로 더 큰 모델의 계단식 선택을 통해 추론 중 모델 선택의 신뢰도를 향상시킨다.
• 모델 신뢰도를 진짜 인스턴스의 어려움과 일치시키는 어려움 인식 목표를 설계하여 예측의 신뢰도를 향상시킨다.
• 기존의 가속 기법들인 동적 조기 종료 및 지식 정련보다 추론 속도와 모델 성능 간의 균형을 더 잘 달성한다.

제안 방법

• 얕은 층에서의 조기 종료 대신, 각 단계에서 완전하고 점차 더 큰 사전 훈련된 모델을 사용하는 계단식 추론 프레임워크를 제안한다.
• 입력 인스턴스의 진짜 어려움을 반영하도록 모델 출력 확률을 유도하는 어려움 인식 목표를 도입한다. 이는 종료 결정의 신뢰도를 향상시킨다.
• 모든 계단 단계에서 예측의 신뢰도를 校정하여, 더 높은 신뢰도의 출력이 더 어려운 인스턴스에 대응하도록 보장한다.
• 표준 교차 엔트로피와 어려움 인식 정규화 항을 조합한 손실 함수를 사용해 계단 모델을 종합적으로 훈련한다.
• 예측 신뢰도가 충분히 높은 가장 작은 완전한 모델을 선택하기 위해 신뢰도 임계값 기반 메커니즘을 사용한다.
• 각 단계에서 부분적인 추론을 피하기 위해, 입력을 전체 트랜스포머 블록 스택을 거쳐 처리하는 다단계 추론 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 완전한 모델의 계단식 선택이 동적 조기 종료보다 추론 속도와 정확도의 균형을 더 잘 달성할 수 있는가?
• RQ2 어려움 인식 목표를 통합함으로써 가속화된 추론에서 모델 선택 결정의 신뢰도는 어떻게 향상되는가?
• RQ3 제안된 방법은 지식 정련 기반 기준과 비교해 추론 시간을 얼마나 줄이고, 성능을 유지하거나 향상시키는가?
• RQ4 계단 단계 간의 校정된 신뢰도 출력이 실제 인스턴스의 어려움과 상관이 있는가?
• RQ5 이 방법은 다양한 모델 크기와 다양한 하류 NLP 작업에서 어떻게 스케일링되는가?

주요 결과

• CascadeBERT는 얕은 표현으로 인해 정확도를 희생시키는 경향이 있는 동적 조기 종료 기법보다 더 나은 속도-정확도 트레이드오프를 달성한다.
• 어려움 인식 목표는 실제 인스턴스의 어려움과 예측 신뢰도를 일치시킴으로써 모델 선택 결정의 신뢰도를 향상시킨다.
• 다양한 하류 NLP 작업에서 지식 정련 기반 기준보다 추론 속도와 정확도 양면에서 모두 뛰어난 성능을 보인다.
• 완전한 모델을 사용하는 계단 구조는 얕은 층에서의 조기 종료보다 잘못된 조기 종료 위험을 줄인다.
• 실험 결과, 특히 더 어려운 인스턴스에서 고차원 모델이 선택되는 경우에 뚜렷한 속도 향상과 최소한의 정확도 손실이 관찰되었다.
• 계단 단계 간의 校정된 신뢰도 점수는 실제 인스턴스의 어려움과 강한 상관관계를 보이며, 설계 목표의 타당성을 입증한다.