[论文解读] Advancing Acoustic-to-Word CTC Model

Jinyu Li, Guoli Ye+3 more|arXiv (Cornell University)|Mar 15, 2018

Speech Recognition and Synthesis参考文献 19被引用 9

一句话总结

该论文提出了一种混合单元CTC模型，将未登录词（OOV）分解为频繁词和多字母单元的序列，实现了无需语言模型或复杂解码器的端到端语音到词的自动语音识别。通过将该方法与注意力CTC机制结合，模型在基线词级CTC基础上实现了12.09%的词错误率（WER）相对降低，并优于使用强语言模型的传统上下文相关音素CTC模型。

ABSTRACT

The acoustic-to-word model based on the connectionist temporal classification (CTC) criterion was shown as a natural end-to-end (E2E) model directly targeting words as output units. However, the word-based CTC model suffers from the out-of-vocabulary (OOV) issue as it can only model limited number of words in the output layer and maps all the remaining words into an OOV output node. Hence, such a word-based CTC model can only recognize the frequent words modeled by the network output nodes. Our first attempt to improve the acoustic-to-word model is a hybrid CTC model which consults a letter-based CTC when the word-based CTC model emits OOV tokens during testing time. Then, we propose a much better solution by training a mixed-unit CTC model which decomposes all the OOV words into sequences of frequent words and multi-letter units. Evaluated on a 3400 hours Microsoft Cortana voice assistant task, the final acoustic-to-word solution improves the baseline word-based CTC by relative 12.09% word error rate (WER) reduction when combined with our proposed attention CTC. Such an E2E model without using any language model (LM) or complex decoder outperforms the traditional context-dependent phoneme CTC which has strong LM and decoder by relative 6.79%.

研究动机与目标

• 为解决词级CTC模型中的未登录词（OOV）问题，该问题限制了模型仅能识别最频繁的词汇。
• 通过在不依赖外部语言模型或复杂解码的情况下建模罕见或未见词汇，提升端到端语音识别的准确性。
• 开发一种统一的单步推理系统，避免混合CTC模型中因共享隐藏层而导致的时间错位和性能下降问题。
• 通过注意力机制增强CTC建模能力，同时保持贪婪解码的简洁性。

提出的方法

• 引入一种混合单元CTC输出层，结合频繁词和多字母单元（如2-或3字母序列），以表示OOV词。
• 在训练过程中，将OOV词分解为频繁词和多字母单元的序列，使模型能够在不使用显式OOV标记的情况下学习子词结构。
• 采用一种注意力CTC变体，通过在序列预测过程中关注相关输入帧，提升后验概率峰值的清晰度和建模准确性。
• 在单次推理过程中使用贪婪解码，避免了两阶段OOV处理或复杂解码流水线的需求。
• 在词和字母单元之间使用共享编码器架构以保持对齐，同时避免共享隐藏层导致的性能下降。
• 使用标准CTC损失函数进行模型优化，假设帧级后验概率之间条件独立。

实验结果

研究问题

• RQ1 将OOV词分解为频繁词和多字母单元是否能提升端到端语音到词CTC模型中的词识别准确率？
• RQ2 统一的混合单元CTC模型是否优于依赖共享隐藏层进行时间同步的混合CTC系统？
• RQ3 注意力机制是否能在不依赖语言模型或复杂解码的情况下增强CTC建模能力？
• RQ4 与使用强语言模型和解码的传统上下文相关音素CTC相比，该方法在WER上表现如何？
• RQ5 该混合单元CTC在多大程度上通过避免输出OOV标记提升了用户体验？

主要发现

• 采用三字母单元和频繁词的混合单元CTC模型实现了9.32%的WER，相比基线词级CTC（9.84% WER）实现了5.28%的相对WER降低。
• 当与所提出的注意力CTC结合后，最终模型实现了8.65%的WER，相比基线词级CTC实现了12.09%的相对WER降低。
• 该无需语言模型或复杂解码的端到端模型优于使用强语言模型和解码的传统上下文相关音素CTC，实现了6.79%的相对WER降低。
• 该模型显著提升了用户体验，避免了OOV标记的输出，而是生成合理的近似结果，如“text fabian”而非“text OOV”。
• 注意力CTC机制有效稳定了训练过程，并提高了后验峰值的清晰度，减少了词与字母单元预测之间的混淆。
• 消融实验确认，使用单个字母进行OOV分解会导致性能较差（WER为20.10%），而多字母单元（尤其是三字母单元）对成功至关重要。