[论文解读] Deep Neural Networks for Automatic Speech Processing: A Survey from Large Corpora to Limited Data

Vincent Roger, Jérôme Farinas+1 more|arXiv (Cornell University)|Mar 9, 2020

Speech Recognition and Synthesis被引用 4

一句话总结

本综述研究了资源匮乏的自动语音处理中的少样本学习技术，重点关注自动语音识别（ASR）、说话人识别和情感识别等低数据场景。其评估了图神经网络和元学习框架，在1-shot时达到69.4%的准确率，10-shot时达到83.6%的音频分类准确率，显示出在缺乏大规模数据集的残障或稀有语言语音应用中的前景。

ABSTRACT

Most state-of-the-art speech systems are using Deep Neural Networks (DNNs). Those systems require a large amount of data to be learned. Hence, learning state-of-the-art frameworks on under-resourced speech languages/problems is a difficult task. Problems could be the limited amount of data for impaired speech. Furthermore, acquiring more data and/or expertise is time-consuming and expensive. In this paper we position ourselves for the following speech processing tasks: Automatic Speech Recognition, speaker identification and emotion recognition. To assess the problem of limited data, we firstly investigate state-of-the-art Automatic Speech Recognition systems as it represents the hardest tasks (due to the large variability in each language). Next, we provide an overview of techniques and tasks requiring fewer data. In the last section we investigate few-shot techniques as we interpret under-resourced speech as a few-shot problem. In that sense we propose an overview of few-shot techniques and perspectives of using such techniques for the focused speech problems in this survey. It occurs that the reviewed techniques are not well adapted for large datasets. Nevertheless, some promising results from the literature encourage the usage of such techniques for speech processing.

研究动机与目标

• 解决在缺乏大规模标注数据集时训练深度神经网络进行语音处理的挑战，特别是针对资源匮乏的语言和病理语音。
• 研究减少数据依赖性的技术，包括数据增强、迁移学习和多任务学习，以在有限样本下提升模型性能。
• 探索少样本学习框架——特别是图神经网络和元学习——作为低资源语音任务的可行解决方案。
• 评估少样本方法在真实语音任务（如ASR、说话人识别和情感识别）中数据稀缺条件下的可行性与性能。
• 识别未来研究的有前景方向，包括对少样本模型进行基准测试，并将其应用于临床应用，如语音可懂度评估。

提出的方法

• 调研基于大规模数据集（如LibriSpeech和TED-LIUM 3）训练的最先进端到端及混合ASR系统，以建立性能基线。
• 回顾数据高效技术，如领域自适应、知识蒸馏和参数高效微调，以减少数据需求。
• 研究基于图神经网络（GNN）的少样本学习框架，其中节点代表支持样本和查询样本，邻接矩阵通过注意力机制学习。
• 采用五分类任务设置实现基于GNN的少样本音频分类模型，通过查询集上的交叉熵损失来训练参数。
• 使用可学习的注意力函数 $\phi(v_i^{(l)}, v_j^{(l)}) = f(|v_i^{(l)} - v_j^{(l)}|)$，结合多层感知机计算图卷积层中的边权重。
• 通过 $Gc(V^{(l)}, A^{(l)}) = \rho(\sum_{B \in A} B V^{(l)} \theta_B^{(k,l)})$ 实现图卷积，其中Leaky ReLU作为非线性激活函数 $\rho$，用于聚合节点间特征。

实验结果

研究问题

• RQ1 少样本学习框架能否有效处理自动语音识别、说话人识别和情感识别等低资源语音处理任务？
• RQ2 基于图神经网络的少样本模型在每类仅使用1至10个样本的情况下，其在音频分类中的表现如何？
• RQ3 当应用于大词汇量语音任务（如LibriSpeech）时，少样本模型在计算和可扩展性方面存在哪些限制？
• RQ4 在临床语音应用中（如检测语音障碍），少样本技术在多大程度上可减少对大规模标注数据集的需求？
• RQ5 图神经网络中的注意力机制相比全局注意力或类内注意力，在少样本音频分类中表现如何？

主要发现

• 基于GNN的少样本框架在AudioSet和[36]数据集上的音频分类中，1-shot准确率为69.4% ± 0.66，5-shot为78.3% ± 0.46，10-shot为83.6% ± 0.98。
• 类内注意力机制在少样本GNN框架中优于全局注意力，表明其在类内提升了特征区分能力。
• 尽管在小规模任务上表现良好，但少样本模型在计算上仍较昂贵，且在LibriSpeech等大词汇量ASR任务中可扩展性不如最先进模型。
• 增加样本数（从1到10）带来的性能提升显著，表明即使仅有少量标注样本，少样本学习也具有可行性。
• 少样本技术在临床和资源匮乏的语音应用中展现出巨大潜力，例如检测语音障碍，因为此类应用的数据收集成本高且耗时。
• 作者建议未来应对少样本模型在语音任务上进行基准测试，并计划使用性能最佳的框架来学习语音可懂度概念。