[论文解读] DONUT: CTC-based Query-by-Example Keyword Spotting

Loren Lugosch, Samuel Myer+1 more|arXiv (Cornell University)|Nov 26, 2018

Speech Recognition and Synthesis参考文献 11被引用 6

一句话总结

DONUT 是一种基于 CTC 的基于示例查询的关键词检测系统，通过在用户提供的音频示例上使用束搜索学习标签序列假设，实现个性化唤醒词检测，然后使用聚合的假设得分对测试音频进行评分。该系统在计算成本低且模型可解释性强的前提下实现了高精度，支持本地设备训练，无需上传私密语音数据。

ABSTRACT

Keyword spotting--or wakeword detection--is an essential feature for hands-free operation of modern voice-controlled devices. With such devices becoming ubiquitous, users might want to choose a personalized custom wakeword. In this work, we present DONUT, a CTC-based algorithm for online query-by-example keyword spotting that enables custom wakeword detection. The algorithm works by recording a small number of training examples from the user, generating a set of label sequence hypotheses from these training examples, and detecting the wakeword by aggregating the scores of all the hypotheses given a new audio recording. Our method combines the generalization and interpretability of CTC-based keyword spotting with the user-adaptation and convenience of a conventional query-by-example system. DONUT has low computational requirements and is well-suited for both learning and inference on embedded systems without requiring private user data to be uploaded to the cloud.

研究动机与目标

• 为语音控制设备中个性化、用户自定义的唤醒词提供解决方案，无需重新训练或依赖云端数据处理。
• 将基于 CTC 的关键词检测的可解释性与基于示例查询系统的用户适应性相结合。
• 实现高效、低计算量的推理，适用于嵌入式系统，且训练过程在用户设备本地完成。
• 通过直接从用户语音学习标签序列，提升检测精度，使模型更贴合个体发音特征，优于基于文本的标签输入。

提出的方法

• 系统在神经网络输出上使用束搜索，从用户提供的训练音频示例中生成 N 个最佳标签序列假设。
• 每个假设通过在测试音频上使用 CTC 前向算法进行评分，得分通过基于训练期间假设似然性的加权和进行聚合。
• 该方法利用 CTC 输出的稀疏性和可解释性，允许通过检查模型识别出的音素来实现调试。
• 训练在设备端完成，仅使用用户的音频，避免了云端数据传输，保护了隐私。
• 该算法采用假设得分的加权和，其中权重与训练期间每个假设的对数概率成反比。
• 该方法支持高效推理，内存和计算开销极小，适合嵌入式系统部署。

实验结果

研究问题

• RQ1 基于示例查询的关键词检测系统能否在保持可解释性和低计算成本的同时实现高精度？
• RQ2 直接从用户语音学习标签序列与使用基于文本的标签相比，在匹配用户发音方面表现如何？
• RQ3 束搜索宽度和假设数量对检测性能有何影响？
• RQ4 能否利用 CTC 的可解释性（如识别出错识的音素）有效调试和改进模型？
• RQ5 使用对数概率加权聚合假设是否优于其他聚合方法（如 logsumexp）？

主要发现

• DONUT 在使用束宽 100 和 100 个假设时，在 English-Fewshot 数据集上实现了 3.1% 的等错误率（EER），且随着考虑的假设数量增加，性能进一步提升。
• 简单的贪婪搜索（B=1, N=1）实现了 4.2% 的 EER，表明即使是最小的束搜索也能提供强大的基线性能。
• 标签模型的质量直接影响检测性能：一个 3x512 的模型在 11.5% 的音素错误率下，EER 仅为 1.4%。
• 假设得分的加权和聚合优于基于 logsumexp 的聚合方法，原因可能是 logsumexp 更倾向于单一假设，无法有效平滑不确定性。
• 该系统支持设备端训练，无需上传用户语音数据，既保护了隐私，又实现了说话人自适应的唤醒词检测。
• 可解释性使系统设计者能够识别出错识的音素（例如，在某些情况下将 'of' 中的 'V' 听成 'N'），从而实现针对性的数据增强或模型优化。