[论文解读] Deep Transfer Learning for Automatic Speech Recognition: Towards Better Generalization

Hamza Kheddar, Yassine Himeur+3 more|arXiv (Cornell University)|Apr 27, 2023

Speech Recognition and Synthesis被引用 6

一句话总结

本文全面综述了自动语音识别（ASR）中的深度迁移学习（DTL），分析其在小样本、领域偏移或低资源数据集上提升泛化能力的作用。提出了一种DTL技术的分类法——归纳式、归纳迁移式和对抗式，展示了其在声学模型与语言模型适配中的有效性，并通过跨领域ASR、医学诊断等案例研究，探讨了与大型语言模型（如ChatGPT）集成以提升转录质量与评估性能的应用。

ABSTRACT

Automatic speech recognition (ASR) has recently become an important challenge when using deep learning (DL). It requires large-scale training datasets and high computational and storage resources. Moreover, DL techniques and machine learning (ML) approaches in general, hypothesize that training and testing data come from the same domain, with the same input feature space and data distribution characteristics. This assumption, however, is not applicable in some real-world artificial intelligence (AI) applications. Moreover, there are situations where gathering real data is challenging, expensive, or rarely occurring, which can not meet the data requirements of DL models. deep transfer learning (DTL) has been introduced to overcome these issues, which helps develop high-performing models using real datasets that are small or slightly different but related to the training data. This paper presents a comprehensive survey of DTL-based ASR frameworks to shed light on the latest developments and helps academics and professionals understand current challenges. Specifically, after presenting the DTL background, a well-designed taxonomy is adopted to inform the state-of-the-art. A critical analysis is then conducted to identify the limitations and advantages of each framework. Moving on, a comparative study is introduced to highlight the current challenges before deriving opportunities for future research.

研究动机与目标

• 通过利用深度迁移学习（DTL）将预训练模型适配到新相关领域，以应对ASR中数据稀缺与领域偏移问题，尤其在数据有限的情况下。
• 分析现有基于DTL的ASR框架的局限性与优势，特别是在处理训练数据与测试数据分布差异方面。
• 为ASR中的DTL技术提供结构化分类法，包括归纳式、归纳迁移式与对抗式方法，以明确各类方法的差异。
• 探索将大型语言模型（LLMs，如ChatGPT）作为源模型或评估工具集成到ASR中，以提升转录质量与评估性能。
• 识别DTL在ASR中的开放性挑战与未来研究方向，包括知识迁移度量、可复现性、隐私保护以及在线适应。

提出的方法

• 提出ASR中DTL技术的全面分类法，根据数据与领域关系，将方法划分为归纳式、归纳迁移式与对抗式迁移学习。
• 综述DTL在声学模型（AMs）中的应用，采用技术如特征归一化、保守训练与基于子空间的适配；以及在语言模型（LMs）中的应用，采用BERT、LDA、NNLM与基于LSTM的方法。
• 分析跨领域与跨语言ASR应用，包括跨语料语音情感识别（CC-SER）与医学诊断（如心音分类、帕金森病检测）。
• 提出一种新颖的将微调后的基于GPT的模型（如ChatGPT）集成到ASR流程中的方法，利用客观测试数据集生成转录与平均意见得分（MOS）预测。
• 采用多步骤评估框架：构建多样化的音频-转录-MOS数据集，基于客观测试案例对LLMs进行微调，并使用词错误率（WER）与皮尔逊相关系数验证性能。
• 通过迭代微调与评估，优化LLM集成的ASR系统，提升其与真实转录及人工评分MOS的一致性。

Figure 1 : Summary of the main speech processing disciplines where DTL can be applied.

实验结果

研究问题

• RQ1 当训练数据量小或与测试数据分布不一致时，深度迁移学习如何有效提升ASR性能？
• RQ2 归纳式、归纳迁移式与对抗式DTL方法在ASR中的关键差异与权衡是什么？在何种场景下最有效？
• RQ3 大型语言模型（如ChatGPT）在多大程度上可作为源模型或评估工具，用于提升ASR的转录质量与评估性能？
• RQ4 基于DTL的ASR面临的主要挑战有哪些？包括知识迁移度量、可复现性与模型可解释性。
• RQ5 在隐私保护、在线适应与统一迁移学习框架方面，未来最值得推进的研究方向是什么？

主要发现

• DTL通过从预训练模型迁移知识，显著提升了在低资源与领域偏移数据上的ASR泛化能力，减少了过拟合与计算成本。
• 所提出的分类法有效组织了ASR中的DTL技术，清晰界定了归纳式、归纳迁移式与对抗式方法的差异及其应用场景。
• 对抗式DTL与基于子空间的方法在处理分布偏移方面表现优异，尤其在跨语言与跨语料ASR设置中。
• 微调后的LLM（如ChatGPT）与人工评分的MOS高度相关，证明其作为ASR评估中自动化质量评估工具的可行性。
• 将LLM集成到ASR流程中，可通过上下文感知的精细化处理提升转录准确性，尤其在结合客观测试数据集时效果更显著。
• 尽管已取得进展，但在知识迁移度量、可复现性与统一DTL框架方面仍存在挑战，凸显了制定标准化评估协议的必要性。

Figure 2 : The number of publications on ASR and DTL-based ASR (source "Scopus database") from 2015 to 2023, where: (a) papers searched using ASR and Knowledge transfer (KT) keywords, (b) papers searched using ASR and DA keywords, (c) papers searched using ASR and TL keywords, (d) comparison-based K