[论文解读] Handling the Alignment for Wake Word Detection: A Comparison Between Alignment-Based, Alignment-Free and Hybrid Approaches

Vinícius Gadis Ribeiro, Yiteng Huang+4 more|arXiv (Cornell University)|Feb 17, 2023

Topic Modeling被引用 4

一句话总结

该论文比较了基于对齐、无对齐及混合方法在唤醒词检测中的应用，采用交叉熵损失、CTC损失以及结合对齐与非对齐数据的两阶段训练方法。混合方法在50/50数据比例下表现优于单独的两种方法，尤其在低误接受率下表现突出，挑战了‘基于对齐的训练是性能上限’这一假设。

ABSTRACT

Wake word detection exists in most intelligent homes and portable devices. It offers these devices the ability to "wake up" when summoned at a low cost of power and computing. This paper focuses on understanding alignment's role in developing a wake-word system that answers a generic phrase. We discuss three approaches. The first is alignment-based, where the model is trained with frame-wise cross-entropy. The second is alignment-free, where the model is trained with CTC. The third, proposed by us, is a hybrid solution in which the model is trained with a small set of aligned data and then tuned with a sizeable unaligned dataset. We compare the three approaches and evaluate the impact of the different aligned-to-unaligned ratios for hybrid training. Our results show that the alignment-free system performs better than the alignment-based for the target operating point, and with a small fraction of the data (20%), we can train a model that complies with our initial constraints.

研究动机与目标

• 在相同条件下评估并比较基于对齐、无对齐及混合方法在唤醒词检测中的表现。
• 确定基于对齐的训练是否代表性能上限，无对齐训练是否代表性能下限。
• 研究在混合训练中对齐数据与非对齐数据比例变化的影响。
• 评估在有限对齐数据下，结合大规模非对齐数据集是否可提升性能。
• 为唤醒词检测系统在最小标注数据条件下的数据收集需求提供实用指导。

提出的方法

• 在274,194条语音样本（总计523小时）上训练唤醒词检测模型，涵盖4,274名不同说话人。
• 在小部分对齐数据上使用交叉熵损失进行基于对齐的训练。
• 在大规模非对齐数据集上使用CTC损失进行无对齐训练。
• 提出一种混合训练方法：首先使用交叉熵损失在对齐数据上微调，随后使用CTC损失在非对齐数据上继续训练。
• 在不同对齐数据与非对齐数据比例（1/99、10/90、20/80、50/50）下评估性能。
• 通过误接受率（FAh）和误拒绝率衡量性能，重点关注不同工作点下的权衡表现。

Figure 1 : DET curves for the pairs A01-B99 , A10-B90 , A20-B80 , and A50-B50 , for the alignment-based, alignment-free, and hybrid alignment settings.

实验结果

研究问题

• RQ1 使用小规模对齐数据集进行基于对齐的训练是否代表性能上限？
• RQ2 使用大规模非对齐数据集进行无对齐训练是否代表性能下限？
• RQ3 将少量对齐数据与大规模非对齐数据结合，是否能提升性能，超越单独使用任一方法？
• RQ4 对齐数据与非对齐数据的比例如何影响混合训练方法的性能？
• RQ5 混合模型是否实现了更好的泛化能力，尤其在低FAh水平下？

主要发现

• 在低误接受率（FAh）下，无对齐系统的表现优于基于对齐的系统，与初始假设‘基于对齐的训练为最优’相矛盾。
• 仅使用20%的数据（对齐数据），无对齐模型即达到合理性能，展现出良好的数据效率。
• 采用50/50对齐与非对齐数据比例的混合模型实现了最佳整体性能，融合了两种方法的优势。
• 在低FAh水平下，混合模型表现与无对齐系统相当；而在高FAh水平下，其性能趋近于基于对齐的模型。
• 混合模型表现出独特行为：在低比例（1/99、10/90、20/80）下，其性能趋近于无对齐系统；但仅在50/50比例时，其性能超越了两者。
• 基于CTC的系统触发速度优于基于交叉熵的系统，表现为解码器得分呈现阶跃函数行为，尽管标准差表明这并非稳定规律。

Figure 2 : Decoder scores of one positive utterance for the CE-A20 , CE-B80 , CTC-A20 , and CTC-B80 models.