[论文解读] Listening to the World Improves Speech Command Recognition

Brian McMahan, Delip Rao|arXiv (Cornell University)|Oct 23, 2017

Music and Audio Processing被引用 8

一句话总结

本文提出了一种新颖的方法，通过利用环境声音分类的迁移学习，并使用空洞卷积实现多尺度输入表示，以提升语音命令识别性能。该方法通过结合在环境声音上的预训练和空洞卷积，捕获更广泛的音频上下文并增强特征可迁移性，从而在仅使用40%训练数据的情况下实现了最先进性能。

ABSTRACT

We study transfer learning in convolutional network architectures applied to the task of recognizing audio, such as environmental sound events and speech commands. Our key finding is that not only is it possible to transfer representations from an unrelated task like environmental sound classification to a voice-focused task like speech command recognition, but also that doing so improves accuracies significantly. We also investigate the effect of increased model capacity for transfer learning audio, by first validating known results from the field of Computer Vision of achieving better accuracies with increasingly deeper networks on two audio datasets: UrbanSound8k and the newly released Google Speech Commands dataset. Then we propose a simple multiscale input representation using dilated convolutions and show that it is able to aggregate larger contexts and increase classification performance. Further, the models trained using a combination of transfer learning and multiscale input representations need only 40% of the training data to achieve similar accuracies as a freshly trained model with 100% of the training data. Finally, we demonstrate a positive interaction effect for the multiscale input and transfer learning, making a case for the joint application of the two techniques.

研究动机与目标

• 探究从环境声音分类迁移学习是否能提升语音命令识别任务的性能。
• 评估增加模型深度和容量对使用深度卷积神经网络进行音频频谱图分类的影响。
• 设计并测试一种基于空洞卷积的多尺度输入表示，以改善音频分类中的上下文聚合。
• 考察迁移学习与多尺度输入联合效应在语音命令识别中的模型准确率与数据效率。

提出的方法

• 在UrbanSound8K和Google Speech Commands数据集上，使用深度卷积神经网络（特别是DenseNet架构）进行音频频谱图分类。
• 在单层中应用空洞卷积，构建多尺度输入表示，以在不增加参数量的前提下捕获更广泛的时序与频谱上下文。
• 在UrbanSound8K数据集（环境声音）上预训练模型，并在Google Speech Commands数据集（语音命令）上进行微调，实现迁移学习。
• 系统性地改变目标（语音命令）训练数据量，以评估预训练和多尺度输入带来的数据效率增益。
• 在单张NVIDIA Titan X GPU上训练模型，无需专用硬件即可实现大规模训练（最高达169层）。
• 对比具有/不具多尺度输入以及具有/不具预训练的模型性能，以分离各组件的独立影响。

实验结果

研究问题

• RQ1 从环境声音分类进行迁移学习是否能提升语音命令识别任务的性能？
• RQ2 增加模型深度对环境声音和语音命令音频频谱图分类准确率有何影响？
• RQ3 使用空洞卷积进行多尺度输入表示是否能提升音频任务的分类性能？
• RQ4 迁移学习与多尺度输入在语音命令识别中的联合效应如何影响数据效率与模型准确率？
• RQ5 具有多尺度输入的预训练模型是否能学习更具泛化能力的音频表征，并有效迁移到语音命令分类任务？

主要发现

• 在UrbanSound8K数据集上预训练的模型在Google Speech Commands数据集上的表现优于随机初始化模型，证明了在音频分类中成功实现了迁移学习。
• 采用空洞卷积实现多尺度输入的模型比使用标准卷积输入的模型获得了更高的分类准确率，表明其具有更好的上下文聚合能力。
• 预训练与多尺度输入的结合产生了协同效应，显著提升了性能，超越了单一技术的效果。
• 具有多尺度输入的预训练模型仅需40%的训练数据即可达到全量训练模型的准确率，展现出显著的数据效率增益。
• DenseNet架构在音频频谱图分类任务中优于基线模型和ResNet模型，尤其在结合多尺度输入与预训练时表现更优。
• 最大模型（169层DenseNet）在单张GPU上仅用20分钟即完成在UrbanSound8K数据集上的训练，表明该方法无需专用硬件即可实现良好可扩展性。