[论文解读] Deep Residual Learning for Small-Footprint Keyword Spotting

Raphael Tang, Jimmy Lin|arXiv (Cornell University)|Oct 28, 2017

Speech Recognition and Synthesis参考文献 8被引用 9

一句话总结

该论文提出一种结合空洞卷积的深度残差网络（ResNets），用于小尺寸关键词检测，在 Google 语音命令数据集上实现了最先进（SOTA）的准确率。结果表明，残差学习可实现更深、更精确的紧凑模型——在仅使用 238K 参数的情况下达到 95.8% 的准确率，优于以往的卷积神经网络（CNNs），同时将推理计算量减少 18 倍。

ABSTRACT

We explore the application of deep residual learning and dilated convolutions to the keyword spotting task, using the recently-released Google Speech Commands Dataset as our benchmark. Our best residual network (ResNet) implementation significantly outperforms Google's previous convolutional neural networks in terms of accuracy. By varying model depth and width, we can achieve compact models that also outperform previous small-footprint variants. To our knowledge, we are the first to examine these approaches for keyword spotting, and our results establish an open-source state-of-the-art reference to support the development of future speech-based interfaces.

研究动机与目标

• 在低资源、设备端环境中，利用深度学习提升关键词检测的准确率。
• 探索残差学习与空洞卷积作为小尺寸关键词检测的新方法。
• 基于 Google 语音命令数据集，建立一个公开可用的、最先进（SOTA）的基准模型。
• 在模型准确率、参数量与推理计算量之间，实现优于以往紧凑型 CNN 的更好权衡。

提出的方法

• 作者采用受 He 等人启发的残差网络（ResNet）架构，其中残差块学习残差映射 H(x) = F(x) + x，以简化深层网络的训练。
• 应用空洞卷积以扩大感受野，而无需增加网络深度，从而在较少层数内实现对完整一秒钟音频上下文的建模。
• 输入音频先经过 20Hz–4kHz 带通滤波器预处理，随后使用 30ms 窗口、10ms 移动步长提取 40 维 MFCC 特征，并将特征在 1 秒内堆叠。
• 在每个卷积层后应用批量归一化，替代 Dropout，使用 ReLU 激活函数引入非线性。
• 系统性地调整网络深度与宽度，以探索准确率、参数量与乘法操作数之间的权衡。
• 训练采用带动量 0.9、权重衰减 10⁻⁵ 及余弦衰减学习率调度的随机梯度下降法，共训练 26 个周期。

实验结果

研究问题

• RQ1 深度残差学习是否能在保持小模型尺寸的同时提升关键词检测的准确率？
• RQ2 空洞卷积如何在不增加网络深度的前提下增强关键词检测中的长程时间建模能力？
• RQ3 在小尺寸关键词检测中，模型深度、宽度与推理效率之间的最优权衡是什么？
• RQ4 与以往的 CNN 模型相比，基于 ResNet 的方法在 Google 语音命令数据集上的准确率与模型效率表现如何？

主要发现

• 完整 ResNet 模型（res15）在测试集上达到 95.8% 的准确率，仅使用 238K 个参数，显著优于 Google 之前最佳的 CNN 模型（91.7% 准确率）。
• 一种紧凑的 ResNet 变体（res8-narrow）在仅 19.9K 个参数和 565 万次乘法操作下达到 90.1% 的准确率，相比基线模型 tpool2，参数量减少 50 倍，乘法操作减少 18 倍。
• res8-wide 模型的准确率高于所有以往的 Google CNN 模型，且模型尺寸更小，表明宽度对性能的影响大于深度。
• 更深的网络（如 res26）相比 res15 出现性能下降，表明在某一深度之后可能出现过拟合或优化困难。
• ROC 曲线显示，res15 在所有工作点上均优于其他所有模型，且 res8-narrow 在准确率与效率方面均优于先前的紧凑模型（one-stride1）。
• 结果在 Google 语音命令数据集上建立了新的开源最先进（SOTA）基准，为未来可复现的比较提供了支持。