[论文解读] Exploring Architectures, Data and Units For Streaming End-to-End Speech Recognition with RNN-Transducer

Kanishka Rao, Haşim Sak+1 more|arXiv (Cornell University)|Jan 2, 2018

Speech Recognition and Synthesis参考文献 15被引用 10

一句话总结

本文探讨了使用RNN-Transducer（RNN-T）架构进行流式端到端语音识别，表明通过使用CTC对编码器进行预训练，并通过仅包含文本的语言模型对解码器进行预训练，可显著提升性能。使用30,000个词片作为输出单元，使语音搜索任务的词错误率（WER）降低至8.5%，语音输入任务的WER降低至5.2%，达到与单个统一神经网络的最先进系统相当的性能。

ABSTRACT

We investigate training end-to-end speech recognition models with the recurrent neural network transducer (RNN-T): a streaming, all-neural, sequence-to-sequence architecture which jointly learns acoustic and language model components from transcribed acoustic data. We explore various model architectures and demonstrate how the model can be improved further if additional text or pronunciation data are available. The model consists of an `encoder', which is initialized from a connectionist temporal classification-based (CTC) acoustic model, and a `decoder' which is partially initialized from a recurrent neural network language model trained on text data alone. The entire neural network is trained with the RNN-T loss and directly outputs the recognized transcript as a sequence of graphemes, thus performing end-to-end speech recognition. We find that performance can be improved further through the use of sub-word units (`wordpieces') which capture longer context and significantly reduce substitution errors. The best RNN-T system, a twelve-layer LSTM encoder with a two-layer LSTM decoder trained with 30,000 wordpieces as output targets achieves a word error rate of 8.5\% on voice-search and 5.2\% on voice-dictation tasks and is comparable to a state-of-the-art baseline at 8.3\% on voice-search and 5.4\% voice-dictation.

研究动机与目标

• 通过RNN-Transducer（RNN-T）架构提升流式端到端自动语音识别（ASR）的性能。
• 研究模型架构深度、预训练策略以及输出单元对WER的影响。
• 评估在端到端模型中引入外部文本和发音数据以增强语言建模能力的有效性。
• 评估子词单元（如词片）相较于字符在减少错误替换和提升识别准确率方面的表现。

提出的方法

• RNN-T模型采用12层LSTM编码器，通过分层CTC预训练初始化，分别使用音素、字符和词片目标在不同深度进行训练。
• 解码器为两层LSTM，通过在仅包含文本的数据上训练的独立语言模型进行初始化，输出单元使用词片。
• 整个RNN-T模型通过RNN-T损失进行联合训练，直接从原始音频预测转录文本。
• 使用字节对编码（BPE）生成词片单元，词汇表大小分别为1k、10k和30k，以捕捉更长上下文并减少OOV问题。
• 在第10层编码器之后应用时间卷积层，将序列长度减少3倍，从而提升推理速度，且不影响WER。
• 通过分层CTC预训练将发音数据整合进来，其中在中间层使用音素目标以改善发音建模。

实验结果

研究问题

• RQ1 使用CTC对编码器进行预训练在流式端到端ASR中如何提升RNN-T的性能？
• RQ2 通过预训练将仅包含文本的语言模型和发音数据整合到端到端ASR系统中，能在多大程度上增强其语言建模能力？
• RQ3 与字符相比，子词单元（如词片）在减少词错误率（尤其是错误替换）方面表现如何？
• RQ4 在流式RNN-T ASR中，实现最先进性能的最优架构深度和输出单元大小（如1k、10k、30k个词片）是什么？

主要发现

• 通过分层CTC对12层LSTM编码器进行预训练，相比5层编码器，WER相对降低5%，而更深的架构进一步带来10%的相对性能提升。
• 通过将仅包含文本的数据用于预训练解码器LSTM作为语言模型，WER相对降低5%，语音搜索任务绝对降低0.6%，语音输入任务绝对降低0.4%。
• 使用30,000个词片作为输出单元，使语音搜索任务的WER降低至8.5%，语音输入任务降低至5.2%，与强基线系统（分别为8.3%和5.4%）性能相当。
• 词片将错误替换率降低1.5个百分点，相比字符单元绝对WER降低2.3%，主要归因于更好的语言上下文建模。
• 通过发音数据进行预训练，使语音搜索WER相对降低5%（绝对降低0.6%），成功纠正了如'barbara stanwick' → 'barbara stanwyck'和'sequoia casino' → 'sycuan casino'等错误。
• 通过文本数据进行预训练，纠正了'soldier boy' → 'soulja boy'和'lorenzo llamas' → 'lorenzo lamas'等错误，表明在上下文中实现了更优的语言建模。