[论文解读] Accented Speech Recognition: A Survey

Arthur Hinsvark, Natalie Delworth+10 more|arXiv (Cornell University)|Apr 21, 2021

Speech Recognition and Synthesis参考文献 38被引用 15

一句话总结

本综述回顾了当前最先进的语音识别（ASR）抗口音技术，重点聚焦于多任务学习、口音特征工程以及模型自适应，以提升跨口音的泛化能力。文章识别出关键挑战，如数据稀疏性、缺乏标准基准以及对未见口音表现不佳等问题，同时强调了单模型泛化方面的进展，以及口音嵌入和对抗训练等技术的突破。

ABSTRACT

Automatic Speech Recognition (ASR) systems generalize poorly on accented speech. The phonetic and linguistic variability of accents present hard challenges for ASR systems today in both data collection and modeling strategies. The resulting bias in ASR performance across accents comes at a cost to both users and providers of ASR. We present a survey of current promising approaches to accented speech recognition and highlight the key challenges in the space. Approaches mostly focus on single model generalization and accent feature engineering. Among the challenges, lack of a standard benchmark makes research and comparison especially difficult.

研究动机与目标

• 解决ASR系统在受口音影响的语音上泛化能力差的问题，原因在于发音和语言的可变性。
• 识别缺乏标准基准和数据稀疏性是阻碍受口音语音识别研究进展的主要障碍。
• 探索提升模型在不同口音间泛化能力的技术，包括多任务学习、特征工程和模型自适应。
• 研究对未见口音实现零样本自适应的可行性，以及当前方法在数百种方言上的可扩展性。
• 考察以英语为重点的抗口音方法在具有高度方言差异的其他语言中的可迁移性。

提出的方法

• 采用多任务学习，引入辅助口音分类任务，以提升模型在不同口音间的泛化能力。
• 在端到端ASR模型中集成口音嵌入和特殊口音标记，以显式建模口音差异。
• 利用对抗训练和特征提取，学习口音不变的表征。
• 应用数据增强技术（如速度扰动）以提高低资源口音的数据效率。
• 采用混合系统（如FineMerge），将商用ASR模型与经过口音调优的本地模型结合，以降低WER。
• 利用半监督和自监督学习，在转录口音数据有限的情况下提升性能。

实验结果

研究问题

• RQ1 如何通过将口音分类作为辅助任务的多任务学习来提升受口音语音识别中的泛化能力？
• RQ2 在端到端模型中引入口音嵌入和特殊标记在多大程度上能增强对多样化口音的鲁棒性？
• RQ3 当前方法在处理未见或低资源口音方面存在哪些局限性？
• RQ4 数据稀疏性和缺乏标准基准如何阻碍受口音语音识别研究的进展？
• RQ5 口音不变表征或元学习能否实现对新口音的有效零样本自适应？

主要发现

• 将口音分类作为辅助任务的多任务学习可提升模型泛化能力，尤其当在网络早期层提取口音信息时效果更佳。
• 在端到端模型中，将特殊口音标记插入转录序列末尾，相比调优损失平衡超参数，能获得更优性能。
• 将口音嵌入与多任务学习结合，在特征工程方法中表现最佳。
• FineMerge算法在结合商用ASR模型与口音调优的本地模型时，将WER相对降低17–28%。
• 当前基准数据集严重失衡，美国、印度和英国英语占主导地位，限制了全球泛化能力。
• 目前尚无方法能完全解决对未见口音的零样本自适应问题，凸显了该领域中的关键开放挑战。