[论文解读] Deep Speech: Scaling up end-to-end speech recognition

Awni Hannun, Carl Case+9 more|arXiv (Cornell University)|Dec 17, 2014

Speech Recognition and Synthesis参考文献 42被引用 1,513

一句话总结

本文提出 Deep Speech，一种基于大规模循环神经网络（RNN）的端到端语音识别系统，该系统通过多张 GPU 训练并结合大规模数据合成。通过直接使用简单且可扩展的 RNN 架构将原始语谱图映射为文本，并利用大规模、含噪的训练数据，该系统在 Switchboard Hub5'00 测试集上实现了 16.0% 的词错误率，超越了先前发表的结果，并在嘈杂环境中优于商用系统。

ABSTRACT

We are proposing a keyword-based query interface for knowledge bases - including relational or deductive databases - based on contextual background knowledge such as suitable join conditions or synonyms. Join conditions could be extracted from existing referential integrity (foreign key) constaints of the database schema. They could also be learned from other, previous database queries, if the database schema does not contain foreign key constraints. Given a textual representation - a word list - of a query to a relational database, one may parse the list into a structured term. The intelligent and cooperative part of our approach is to hypothesize the semantics of the word list and to find suitable links between the concepts mentioned in the query using contextual knowledge, more precisely join conditions between the database tables. We use a knowledge-based parser based on an extension of Definite Clause Grammars (Dcg) that are interweaved with calls to the database schema to suitably annotate the tokens as table names, table attributes, attribute values or relationships linking tables. Our tool DdQl yields the possible queries in a special domain specific rule language that extends Datalog, from which the user can choose one.

研究动机与目标

• 开发一种更简单、更鲁棒的语音识别系统，绕过传统的手工设计处理流程。
• 在无需专门的噪声或说话人自适应组件的情况下，提升在具有挑战性的语音识别任务中的性能，尤其是在嘈杂环境中。
• 通过利用大规模标注数据和高效的多 GPU 训练，扩展端到端深度学习在语音识别中的应用。
• 证明数据驱动的端到端方法在准确性和鲁棒性方面可超越复杂的传统语音识别流水线。

提出的方法

• 系统使用五层前馈网络和一层双向循环层（RNN），配合 ReLU 激活函数，处理语谱图输入并预测字符级概率。
• 采用连接时序分类（CTC）损失函数，对未对齐的音频-转录本对进行端到端训练。
• 提出一种新颖的数据合成流程，生成如背景噪声、混响和 Lombard 效应等逼真的失真，以增强模型鲁棒性。
• 在分布式系统上使用 Nesterov 加速梯度下降法训练模型，借助多张 GPU 实现大规模 RNN 的高效扩展。
• 单独在 Common Crawl 的 2.2 亿个短语上训练语言模型，以提升转录准确性。
• 采用模型分块策略以提升 GPU 并行效率，尤其针对循环层进行优化。

实验结果

研究问题

• RQ1 端到端深度学习系统是否能在准确性和鲁棒性方面超越传统的流水线式语音识别系统？
• RQ2 数据合成技术在多大程度上能提升模型对真实世界失真（如噪声和说话人差异）的泛化能力？
• RQ3 多 GPU 训练在无需依赖复杂架构（如 LSTM）的情况下，对大规模 RNN 的语音识别扩展效果如何？
• RQ4 当在大规模、多样化数据集上训练时，仅使用简单 RNN、ReLU 激活函数和 CTC 损失是否能实现最先进性能？

主要发现

• Deep Speech 在完整的 Switchboard Hub5'00 测试集上实现了 16.0% 的词错误率，成为当时发表时的最先进结果。
• 在自定义的嘈杂语音识别数据集上，系统实现了 19.1% 的词错误率，显著优于商用系统报告的 30.5% 错误率。
• 添加合成的含噪数据使模型在含噪语音上的性能提升了 6.1 个百分点（从 28.7% 降至 22.6% 的 WER），证明了数据增强的有效性。
• 在混合了清洁与嘈杂语音的测试集上，该系统在嘈杂条件下的表现优于商用 API（如 Google Speech、Apple Dictation），词错误率为 11.85%。
• 仅在原始数据上训练的模型在清洁语音上的词错误率为 9.2%，而经过噪声增强的模型达到 9.0% 的词错误率，表明数据增强带来的性能下降可忽略不计。
• 多 GPU 的使用使得大规模 RNN 的高效训练成为可能，从而在不依赖复杂循环单元（如 LSTM）的情况下实现了端到端学习的可扩展性。