Skip to main content
QUICK REVIEW

[论文解读] Distil-Whisper: Robust Knowledge Distillation via Large-Scale Pseudo Labelling

Sanchit Gandhi, Patrick von Platen|arXiv (Cornell University)|Nov 1, 2023
Speech Recognition and SynthesisComputer Science被引用 12
一句话总结

Distil-Whisper 通过大规模伪标签学习与 KL/PL 损失蒸馏 Whisper,训练时冻结编码器,旨在生成一个更小、更快的 ASR 模型,具备稳健的 OOD 性能并减少幻觉。

ABSTRACT

As the size of pre-trained speech recognition models increases, running these large models in low-latency or resource-constrained environments becomes challenging. In this work, we leverage pseudo-labelling to assemble a large-scale open-source dataset which we use to distill the Whisper model into a smaller variant, called Distil-Whisper. Using a simple word error rate (WER) heuristic, we select only the highest quality pseudo-labels for training. The distilled model is 5.8 times faster with 51% fewer parameters, while performing to within 1% WER on out-of-distribution test data in a zero-shot transfer setting. Distil-Whisper maintains the robustness of the Whisper model to difficult acoustic conditions, while being less prone to hallucination errors on long-form audio. Distil-Whisper is designed to be paired with Whisper for speculative decoding, yielding a 2 times speed-up while mathematically ensuring the same outputs as the original model. To facilitate further research in this domain, we make our training code, inference code and models publicly accessible.

研究动机与目标

  • 推动将大规模序列到序列(Seq2Seq)ASR 模型压缩,以便在低延迟部署时仍保持对多样化声学条件的鲁棒性。
  • 开发一个结合伪标签和教师预测的蒸馏框架,以训练一个更小的学生模型。
  • 确保蒸馏模型在多领域和噪声条件下保持鲁棒性,包括零-shot 分布外场景。
  • 利用推测解码和长语音转录策略,在保持输出的同时进一步提高推理速度。

提出的方法

  • 通过复制 Whisper 的编码器并在训练期间将其冻结来在学生模型中训练一个小解码器。
  • 使用 KL 散度和伪标签损失的加权和来将知识从教师传递给学生(L_KL 和 L_PL,α_KL=0.8,α_PL=1.0)。
  • 使用 Whisper large-v2 为一个大规模的多领域数据集生成伪标签,并用基于WER的阈值进行筛选以提高标签质量(lambda 在验证集上进行调优)。
  • 通过从教师处获取第一层和最后一层解码器来初始化学生解码器(基于层的压缩)。
  • 在短语与长语音任务上进行评估,包括分布外数据集,以评估鲁棒性和延迟。
  • 使用分块的长语音转录和推测解码(Distil-Whisper 作为助手),在不改变主模型输出的前提下加速推理。

实验结果

研究问题

  • RQ1大规模伪标签是否能实现对 Seq2Seq ASR 的有效知识蒸馏,而不显著损失性能?
  • RQ2Distil-Whisper 是否在分布外条件下保持对多样化声学条件和噪声的鲁棒性?
  • RQ3在将 Whisper 压缩为 2 层解码器并保持编码器不变时,延迟与准确度的权衡如何?
  • RQ4带有蒸馏助手的推测解码是否能在不改变输出的情况下提供可靠的加速?

主要发现

  • Distil-Whisper 实现了在 OOD 测试数据的零-shot 转移中,推理快 5.8x、参数减少 51%,同时在原始 Whisper 的 WER 上仅落后 1% 以内。
  • 蒸馏模型保持对不利声学条件和噪声的鲁棒性,在若干 ID 与 OOD 数据集上具有与 Whisper 相当的有效鲁棒性。
  • 在长语音评估中,Distil-Whisper 平均 WER 比 Whisper 高出 0.1%,并且幻觉相关错误较少(插入率较低)。
  • 将 Distil-Whisper 作为助手的推测解码在不改变输出的前提下可实现约 2x 的加速(或更多),且参数增加很小。
  • 数据集规模的增加在 ID/OOD 的 WER 上有提升,直到 ~13.9k 小时的伪标签数据后收益趋于递减;编码器的共享有助于维持类似的噪声鲁棒性。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。