[论文解读] A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding

Yingzhi Wang, Abdelmoumene Boumadane+1 more|arXiv (Cornell University)|Nov 4, 2021

Speech Recognition and Synthesis参考文献 27被引用 93

一句话总结

本论文在三个非ASR任务上基准微调的 wav2vec 2.0 和 HuBERT 模型（SER、SV、SLU），在部分和全量微调策略下对多个数据集实现了最先进的结果。

ABSTRACT

Speech self-supervised models such as wav2vec 2.0 and HuBERT are making revolutionary progress in Automatic Speech Recognition (ASR). However, they have not been totally proven to produce better performance on tasks other than ASR. In this work, we explored partial fine-tuning and entire fine-tuning on wav2vec 2.0 and HuBERT pre-trained models for three non-ASR speech tasks: Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding. With simple proposed downstream frameworks, the best scores reached 79.58% weighted accuracy on speaker-dependent setting and 73.01% weighted accuracy on speaker-independent setting for Speech Emotion Recognition on IEMOCAP, 2.36% equal error rate for Speaker Verification on VoxCeleb1, 89.38% accuracy for Intent Classification and 78.92% F1 for Slot Filling on SLURP, showing the strength of fine-tuned wav2vec 2.0 and HuBERT on learning prosodic, voice-print and semantic representations.

研究动机与目标

• 证明微调的 wav2vec 2.0 和 HuBERT 在非ASR语音任务上的有效性。
• 比较下游任务中的部分微调与全部微调。
• 提供用于 SER 和 SLU 的开源微调模型和下游框架。

提出的方法

• 比较四个预训练模型（带有与不带有 ASR 微调的 wav2vec 2.0 base/large；带有与不带有 ASR 微调的 HuBERT base/large）。
• 通过冻结 CNN 编码器实现部分微调，或对所有层进行全量微调。
• 附加简单的下游适配器：SER 和 SV 使用平均池化 + 线性分类器；SLU 使用注意力解码器。
• 使用 Adam 训练，并为编码器与下游组件分别设置学习率调度器。
• 在 IEMOCAP（SER）、VoxCeleb1（SV）和 SLURP（SLU）上进行评估。

实验结果

研究问题

• RQ1 对自监督编码器进行微调是否能在超越冻结特征基线的情况下提升 SER、SV 与 SLU？
• RQ2 在数据有限的 SER 任务中，部分微调是否比完全微调更有效？
• RQ3 在这些下游任务上 HuBERT 是否优于 wav2vec 2.0？
• RQ4 ASR 微调对非 ASR 任务性能的影响？
• RQ5 不同模型规模（base 与 large）如何在各任务上影响结果？

主要发现

• 部分微调的 HuBERT large 在 SER-SD 上达到 79.58% WA（最佳），在 SER-SI 上达到 73.01% WA。
• 完全微调的 HuBERT large 结合 ASR 微调在 SV 上达到 2.36% EER（最佳），在 PF-960h 变体中达到 2.38% EER。
• HuBERT 通常在 SER 和 SV 的各设定中优于 wav2vec 2.0。
• SLU 结果在 EF-hbt-large 下为 IC 89.38%，在 PF-hbt-large 下为 SF 78.92%。
• ASR 微调并不总是对 SER 和 SLU 有帮助，表明在某些情况下可能丧失语调/语义信息。