Skip to main content
QUICK REVIEW

[논문 리뷰] Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling

Sanchit Gandhi, Patrick von Platen|arXiv (Cornell University)|2023. 11. 01.
Speech Recognition and SynthesisComputer Science인용 수 12
한 줄 요약

Distil-Whisper는 대규모 의사레이블링과 KL/PL 손실을 사용하여 Whisper를 증류하고, 인코더를 고정(Freeze)하여 더 작고 빠른 ASR 모델을 만들어 OOD에서의 강건한 성능과 환각 감소를 달성합니다.

ABSTRACT

As the size of pre-trained speech recognition models increases, running these large models in low-latency or resource-constrained environments becomes challenging. In this work, we leverage pseudo-labelling to assemble a large-scale open-source dataset which we use to distill the Whisper model into a smaller variant, called Distil-Whisper. Using a simple word error rate (WER) heuristic, we select only the highest quality pseudo-labels for training. The distilled model is 5.8 times faster with 51% fewer parameters, while performing to within 1% WER on out-of-distribution test data in a zero-shot transfer setting. Distil-Whisper maintains the robustness of the Whisper model to difficult acoustic conditions, while being less prone to hallucination errors on long-form audio. Distil-Whisper is designed to be paired with Whisper for speculative decoding, yielding a 2 times speed-up while mathematically ensuring the same outputs as the original model. To facilitate further research in this domain, we make our training code, inference code and models publicly accessible.

연구 동기 및 목표

  • 다양한 음향 조건에 대한 강건성을 유지하면서 대규모 Seq2Seq ASR 모델을 저지연 배치용으로 압축하는 것을 동기 부여한다.
  • 의사레이블과 교사 예측을 결합한 증류 프레임워크를 개발하여 더 작은 학생 모델을 학습한다.
  • 제로샷 OOD 시나리오를 포함하여 여러 도메인과 잡음 조건에 대해 증류 모델의 강건성이 유지되도록 한다.
  • 추정적 디코딩 및 긴 형식 전사 전략을 활용하여 출력 품질을 유지하면서 추론 속도를 추가로 개선한다.

제안 방법

  • Whisper의 인코더를 복사하여 학생 모델에 작은 디코더를 학습시키고 학습 중에 이를 고정한다.
  • 교사에서 학생으로 지식을 전달하기 위해 KL 발산과 의사레이블 손실의 가중합을 사용한다 (L_KL과 L_PL로, alpha_KL=0.8, alpha_PL=1.0).
  • Whisper large-v2를 사용해 대규모 다중 도메인 데이터세트에 대한 의사레이블을 생성하고, 레이블 품질을 향상시키기 위해 WER 기반 임계값으로 필터링한다 (람다를 검증 세트에서 조정).
  • 교사로부터 디코더의 처음과 마지막 층을 가져와 학생 디코더를 초기화한다 (레이어 기반 압축).
  • 짧은 형식 및 긴 형식 ASR 작업에서 평가하고, OOD 데이터세트를 포함해 강건성과 지연(latency)을 평가한다.
  • 추정 디코딩 및 긴 형식 전사를 활용하여 주 모델 출력은 그대로 두고 추론 속도를 높인다( Distil-Whisper를 보조로 사용).

실험 결과

연구 질문

  • RQ1대규모 의사레이블링이 Seq2Seq ASR에 대한 지식 증류를 상당한 성능 저하 없이 효과적으로 가능하게 할 수 있는가?
  • RQ2Distil-Whisper가 OOD 설정에서 Whisper의 다양한 음향 조건과 잡음에 대한 강건성을 유지하는가?
  • RQ3인코더를 고정한 채 Whisper를 2-layer 디코더로 압축할 때 지연(latency)과 정확도 간의 트레이드오프는 무엇인가?
  • RQ4증류된 어시스턴트를 이용한 추정 디코딩이 출력은 변하지 않으면서 신뢰할 수 있는 속도 향상을 제공하는가?

주요 결과

  • Distil-Whisper는 5.8x 빠른 추론 속도와 파라미터 51% 감소를 달성하면서 OOD 테스트 데이터에서 원래 Whisper 대비 WER가 1% 이내를 유지합니다.
  • 증류 모델은 여러 ID 및 OOD 데이터셋에서 Whisper에 비해 경쟁력 있는 효과적 강건성을 보이며 악조건의 음향 및 잡음에 대한 강건성을 유지합니다.
  • 긴 형식 평가에서 Distil-Whisper는 평균적으로 Whisper보다 WER이 0.1% 개선되며, 원래 모델에 비해 환각 관련 오류(삽입률)가 더 적게 나타납니다.
  • Distil-Whisper를 보조 어시스턴트로 사용하는 추정 디코딩은 출력은 유지하면서 약 2배 이상의 속도 향상을 제공하고 파라미터 증가도 작습니다.
  • 데이터세트 규모를 늘리면 ID/OOD WER이 일정 지점까지 개선되며, 의사레이블 데이터 약 13.9k 시간 정도를 넘어서면 수익이 감소합니다; 인코더를 공유하는 것도 비슷한 노이즈 강건성에 기여합니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.