[论文解读] An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition

Xuankai Chang, Takashi Maekaku+9 more|arXiv (Cornell University)|Oct 9, 2021

Speech Recognition and Synthesis被引用 8

一句话总结

本文在基于Transformer和Conformer等先进模型的端到端自动语音识别（E2E-ASR）系统中，评估了自监督预训练语音表征——特别是HuBERT和Wav2Vec2.0。在不修改模型架构或训练策略的前提下，这些表征在多个公开ASR语料库上实现了或超越了当前最先进（SOTA）的性能，展现出强大的泛化能力与快速收敛特性。

ABSTRACT

Self-supervised pretraining on speech data has achieved a lot of progress. High-fidelity representation of the speech signal is learned from a lot of untranscribed data and shows promising performance. Recently, there are several works focusing on evaluating the quality of self-supervised pretrained representations on various tasks without domain restriction, e.g. SUPERB. However, such evaluations do not provide a comprehensive comparison among many ASR benchmark corpora. In this paper, we focus on the general applications of pretrained speech representations, on advanced end-to-end automatic speech recognition (E2E-ASR) models. We select several pretrained speech representations and present the experimental results on various open-source and publicly available corpora for E2E-ASR. Without any modification of the back-end model architectures or training strategy, some of the experiments with pretrained representations, e.g., WSJ, WSJ0-2mix with HuBERT, reach or outperform current state-of-the-art (SOTA) recognition performance. Moreover, we further explore more scenarios for whether the pretraining representations are effective, such as the cross-language or overlapped speech. The scripts, configuratons and the trained models have been released in ESPnet to let the community reproduce our experiments and improve them.

研究动机与目标

• 评估自监督预训练语音表征（SSLRs）在先进端到端ASR系统中的泛化能力与性能表现。
• 在包含不同语音特征（如朗读与非正式语音、单说话人与多说话人）的多样化公开ASR语料库上，对比SSLRs的表现。
• 探究SSLRs在跨语言识别和重叠语音识别等挑战性场景下的有效性。
• 通过在ESPnet中发布脚本、配置文件和训练好的模型，为社区提供可复现的基准。

提出的方法

• 将S3PRL工具包中的SSLRs集成到ESPnet端到端语音处理框架中，实现在不同设置下的无缝评估。
• 使用相同的后端模型架构，在多种ASR语料库上评估多种SSLR模型（包括HuBERT、Wav2Vec2.0、APC、Mockingjay、TERA、NPC和VQ-APC）。
• 探索三种特征融合策略：所有编码器层的加权求和、最后一层表征，以及微调后的最后一层特征。
• 采用基于联合CTC/注意力机制的Transformer和Conformer编码器-解码器模型，使用固定的SSLR特征进行端到端ASR训练。
• 应用标准训练技术，包括梯度累积、Dropout正则化和语音样本级别的归一化，以提升训练稳定性。
• 通过验证准确率曲线监控训练动态，评估SSLR特征的收敛性与鲁棒性。

Fig. 1 : End-to-End speech processing with various speech representations. The framework can be used in speech recognition (ASR), speech translation (ST), speech enhancement (SE), etc.

实验结果

研究问题

• RQ1 在多样化语料库中，自监督预训练表征与传统log-Mel FBANK特征相比，在E2E-ASR性能上表现如何？
• RQ2 HuBERT和Wav2Vec2.0等SSLRs是否能超越LibriSpeech语料库，在其他开源ASR数据集上也实现SOTA性能？
• RQ3 如何最优地利用SSLRs的多层表征——加权求和、最后一层，还是微调后的最后一层特征？
• RQ4 在跨语言识别或重叠语音识别等挑战性场景下，SSLRs的表现如何？

主要发现

• HuBERT和Wav2Vec2.0表征显著优于log-Mel FBANK特征，在WSJ、LibriTTS和AISHELL等多个语料库上实现了SOTA或接近SOTA的结果。
• 在WSJ数据集上，采用加权求和特征的HuBERT将词错误率（WER）降至3.0%（使用语言模型）和4.9%（不使用语言模型），优于使用语言模型的FBANK基线（分别为5.3%和5.5%）。
• 使用加权求和特征的Wav2Vec2.0在WSJ上实现了3.7%的WER（使用语言模型），与之前SOTA系统相当或更优。
• SSLR-based模型的学习曲线显示其收敛速度快于FBANK，HuBERT和Wav2Vec2.0在训练初期即展现出更优的准确率。
• HuBERT特征在最后一层表现出强烈集中性，而Wav2Vec2.0则通过加权求和多层特征获益，表明其具有更丰富的中间表征。
• 预训练表征对学习率和批量大小等超参数变化具有鲁棒性，表明其在不同训练设置下均具备可靠性。

Fig. 2 : Validation accuracies of different self-supervised learning representations on WSJ ASR dataset.