[论文解读] Measuring the Impact of Individual Domain Factors in Self-Supervised Pre-Training

Ramon Sanabria, Wei-Ning Hsu+2 more|arXiv (Cornell University)|Mar 1, 2022

Speech Recognition and Synthesis被引用 6

一句话总结

本文通过受控实验，分离了语音表示学习中单个领域因素（如语音学、句法和说话人差异）的影响，采用wav2vec2.0进行研究。通过合成或修改音频以改变单一领域因素，作者发现语音学和语调变化对预训练性能的影响远大于句法或词汇因素，且大规模合成数据集的表现优于小规模真实数据集。

ABSTRACT

Human speech data comprises a rich set of domain factors such as accent, syntactic and semantic variety, or acoustic environment. Previous work explores the effect of domain mismatch in automatic speech recognition between pre-training and fine-tuning as a whole but does not dissect the contribution of individual factors. In this paper, we present a controlled study to better understand the effect of such factors on the performance of pre-trained representations on automatic speech recognition. To do so, we pre-train models either on modified natural speech or synthesized audio, with a single domain factor modified, and then measure performance after fine-tuning. Results show that phonetic domain factors play an important role during pre-training while grammatical and syntactic factors are far less important. To our knowledge, this is the first study to better understand the domain characteristics of pre-trained sets in self-supervised pre-training for speech.

研究动机与目标

• 理解单个领域因素（如语音学、句法和说话人差异）如何影响自动语音识别中的自监督预训练。
• 通过单独隔离并测量每个因素的贡献，解决先前研究将领域不匹配视为整体问题的局限性。
• 评估在真实数据有限的情况下，具有受控领域差异的合成语音是否能有效预训练模型。
• 确定模型是否能从非语言或合成信号（如噪声或音高序列）中学习有意义的表示。

提出的方法

• 作者使用语音合成（Fastspeech2搭配HiFi-GAN声码器）和音频处理技术，仅每次改变一个领域因素，生成或修改预训练数据集。
• 他们在受控数据集上微调wav2vec2.0模型——这些数据集要么从VCTK或LJ Speech合成，要么从Librispeech修改，分别针对语音学、句法、词汇或语调变化。
• 通过在10小时的Libri-light dev-other/clean数据集上微调预训练模型，并使用标准自动语音识别指标评估性能。
• 他们比较了不同预训练数据类型的结果，包括白噪声、随机音高序列和合成语音序列，以测试对非语言信号的泛化能力。
• 一个关键的方法选择是：当从零开始训练失败时（尤其是在高度合成数据上），使用预训练的特征提取器。
• 他们进行了消融实验，比较大规模合成数据集（960小时）与小规模真实数据集（24小时或44小时）的性能，评估数据效率。

实验结果

研究问题

• RQ1 改变语音学领域因素（如音系结构和语调）对自监督自动语音识别模型性能有何影响？
• RQ2 与语音学因素相比，句法和词汇变化在多大程度上影响预训练的有效性？
• RQ3 模型能否成功地在合成的、非语言的信号（如随机噪声或音高序列）上进行预训练？
• RQ4 在下游自动语音识别准确率方面，大规模合成预训练数据集是否优于小规模真实数据集？
• RQ5 预训练的特征提取器是否能实现从高度合成或非语言音频数据中学习？

主要发现

• 语音学领域因素（包括音系结构和语调变化）对下游自动语音识别性能的影响远大于句法或词汇因素。
• 在不改变音素集合的前提下改变音系结构，可使dev-other集的WER降低高达30%，表明对语音结构具有高度敏感性。
• 改变词序（句法变化）影响极小，最坏情况下WER增加不足2%，表明句法结构对表示学习并非关键。
• 在960小时合成语音（来自VCTK，109名说话人）上预训练的模型，优于在44小时真实VCTK数据上预训练的模型，在dev-other集上WER为38.7% vs. 49.7%。
• 即使像随机音高序列（200–900Hz范围内的44个音素）这样的合成信号，只要结合预训练特征提取器，也能成功预训练Transformer模块，且优于未预训练的基线模型。
• 在白噪声或随机词长音高序列上进行预训练无法收敛或表现欠佳，表明结构化的合成信号对有效预训练是必要的。