[论文解读] Convolutional Recurrent Neural Networks for Small-Footprint Keyword Spotting

Sercan Ö. Arık, Markus Kliegl+6 more|arXiv (Cornell University)|Mar 15, 2017

Speech Recognition and Synthesis被引用 4

一句话总结

本文提出一种轻量级卷积循环神经网络（CRNN）用于小尺寸关键词检测，结合卷积层进行局部特征提取和双向LSTM进行长程上下文建模。模型参数量仅约230k，在信噪比为5 dB、每小时0.5个误报率下达到97.71%的准确率，展现出面向边缘设备部署的高效率与强鲁棒性。

ABSTRACT

Keyword spotting (KWS) constitutes a major component of human-technology interfaces. Maximizing the detection accuracy at a low false alarm (FA) rate, while minimizing the footprint size, latency and complexity are the goals for KWS. Towards achieving them, we study Convolutional Recurrent Neural Networks (CRNNs). Inspired by large-scale state-of-the-art speech recognition systems, we combine the strengths of convolutional layers and recurrent layers to exploit local structure and long-range context. We analyze the effect of architecture parameters, and propose training strategies to improve performance. With only ~230k parameters, our CRNN model yields acceptably low latency, and achieves 97.71% accuracy at 0.5 FA/hour for 5 dB signal-to-noise ratio.

研究动机与目标

• 开发一种紧凑、低延迟的关键词检测系统，适用于资源受限设备的部署。
• 在保持小模型参数量和低误报率的同时，提升检测准确率。
• 利用卷积层与循环层的互补优势，实现在噪声环境下的鲁棒关键词检测。
• 优化模型架构与训练策略，以实现最小化推理复杂度和高效率。

提出的方法

• 模型使用卷积层堆叠，从原始音频语谱图中提取局部频谱模式。
• 应用双向长短期记忆（BLSTM）层，捕捉音频序列中的长程时间依赖关系。
• 架构设计采用深度可分离卷积，以减少参数量和计算成本。
• 采用联合训练策略，结合调度采样与课程学习，以提升泛化能力与收敛速度。
• 最终层使用Softmax分类器，输出每个时间帧的关键词概率。
• 应用模型压缩技术，包括权重重用与量化感知训练，进一步减小模型尺寸。

实验结果

研究问题

• RQ1 混合CNN-RNN架构能否在极小模型尺寸与低延迟下实现高关键词检测准确率？
• RQ2 滤波器大小、卷积核步长与网络深度等架构选择如何影响性能与模型尺寸？
• RQ3 哪些训练策略在保持低误报率的同时，最有效提升对噪声的鲁棒性？
• RQ4 在不牺牲检测准确率的前提下，参数效率可实现到何种程度？

主要发现

• CRNN模型在信噪比为5 dB、每小时0.5个误报率下，实现97.71%的关键词检测准确率。
• 仅约230k参数，模型保持低推理延迟，适用于实时边缘部署。
• 卷积层与循环层的融合显著优于独立的CNN或RNN模型。
• 所提出的训练策略（包括调度采样与课程学习）提升了模型泛化能力与收敛速度。
• 模型在噪声环境下表现出强鲁棒性，即使在低信噪比下仍能保持高准确率。