[论文解读] Attention-based End-to-End Models for Small-Footprint Keyword Spotting

Changhao Shan, Junbo Zhang+2 more|arXiv (Cornell University)|Mar 29, 2018

Speech Recognition and Synthesis参考文献 15被引用 9

一句话总结

本文提出了一种基于注意力机制的端到端神经网络模型，用于小尺寸关键词检测（KWS），采用编码器（LSTM、GRU 或 CRNN）后接软注意力机制，生成固定长度的上下文向量以实现关键词检测。该基于 CRNN 的模型仅使用约 84K 个参数，即在每小时 1.0 个误报率下实现 1.02% 的错误拒绝率，显著优于 Deep KWS，并在小尺寸 KWS 领域创下新的最先进水平。

ABSTRACT

In this paper, we propose an attention-based end-to-end neural approach for small-footprint keyword spotting (KWS), which aims to simplify the pipelines of building a production-quality KWS system. Our model consists of an encoder and an attention mechanism. The encoder transforms the input signal into a high level representation using RNNs. Then the attention mechanism weights the encoder features and generates a fixed-length vector. Finally, by linear transformation and softmax function, the vector becomes a score used for keyword detection. We also evaluate the performance of different encoder architectures, including LSTM, GRU and CRNN. Experiments on real-world wake-up data show that our approach outperforms the recent Deep KWS approach by a large margin and the best performance is achieved by CRNN. To be more specific, with ~84K parameters, our attention-based model achieves 1.02% false rejection rate (FRR) at 1.0 false alarm (FA) per hour.

研究动机与目标

• 通过消除 HMM、图搜索和帧级对齐等复杂组件，简化生产级 KWS 管道。
• 开发一种小尺寸、低延迟的 KWS 系统，适用于设备端部署。
• 在保持极小模型尺寸的同时，提升现有端到端模型（如 Deep KWS）的检测准确率。
• 研究不同编码器架构（LSTM、GRU、CRNN）和注意力机制（平均注意力、软注意力）对 KWS 性能的影响。

提出的方法

• 模型使用循环编码器（LSTM、GRU 或 CRNN）将原始音频特征转换为高层表示。
• 注意力机制对编码器的隐藏状态计算归一化权重，以聚焦于相关的时间段。
• 加权上下文向量通过线性变换和 Softmax 层处理，生成关键词检测得分。
• 使用软注意力机制，动态关注输入中显著的部分，提升对可变长度关键词的鲁棒性。
• 模型端到端训练，无需预计算的对齐结果或后验概率。
• 超参数如窗口大小（189 帧）、帧移位（1）和滑动窗口（100 帧）已针对实时推理进行优化。

实验结果

研究问题

• RQ1 基于注意力机制的端到端模型能否在极小模型尺寸和低延迟下实现优越的关键词检测性能？
• RQ2 在小尺寸 KWS 中，不同编码器架构（LSTM、GRU、CRNN）在准确率和参数效率方面如何比较？
• RQ3 在真实场景下，软注意力机制是否优于平均注意力机制以检测关键词？
• RQ4 在 GRU 编码器中增加卷积层（形成 CRNN）是否能进一步提升检测性能？

主要发现

• 基于 CRNN 的注意力模型在每小时 1.0 个误报率下实现最低的错误拒绝率（1.02%），仅使用约 84K 个参数。
• 软注意力机制始终优于平均注意力机制，在相同误报率下相比 Deep KWS 将错误拒绝率降低超过 4%。
• GRU 基础模型优于同等规模的 LSTM 模型，其中 1-128 GRU 模型在每小时 1.0 个误报率下实现 1.49% 的错误拒绝率。
• 在 GRU 编码器中增加卷积层（形成 CRNN）可提升性能，其中 16 通道模型优于 8 通道模型。
• 16-2-64 CRNN 模型在所有测试配置中实现最低的错误拒绝率（1.02%）。
• ROC 曲线显示，CRNN 和 GRU 模型显著优于 LSTM 模型，尤其在低误报率下表现更优。