[论文解读] Gated Recurrent Unit Based Acoustic Modeling with Future Context

Jie Li, Xiaorui Wang+2 more|arXiv (Cornell University)|May 18, 2018

Speech Recognition and Synthesis参考文献 31被引用 5

一句话总结

该论文提出mGRUIP，一种带有输入投影层的极小门控循环单元，通过两种新颖的上下文模块——时间编码和时间卷积——实现对未来的有效且直接建模，实现了仅170毫秒延迟和比TDNN-LSTM少40%参数的最先进自动语音识别（ASR）性能。

ABSTRACT

The use of future contextual information is typically shown to be helpful for acoustic modeling. However, for the recurrent neural network (RNN), it's not so easy to model the future temporal context effectively, meanwhile keep lower model latency. In this paper, we attempt to design a RNN acoustic model that being capable of utilizing the future context effectively and directly, with the model latency and computation cost as low as possible. The proposed model is based on the minimal gated recurrent unit (mGRU) with an input projection layer inserted in it. Two context modules, temporal encoding and temporal convolution, are specifically designed for this architecture to model the future context. Experimental results on the Switchboard task and an internal Mandarin ASR task show that, the proposed model performs much better than long short-term memory (LSTM) and mGRU models, whereas enables online decoding with a maximum latency of 170 ms. This model even outperforms a very strong baseline, TDNN-LSTM, with smaller model latency and almost half less parameters.

研究动机与目标

• 设计一种循环神经网络声学模型，以极低延迟和计算成本有效利用未来上下文信息。
• 通过在在线语音识别中实现帧级推理并保持低延迟，克服标准RNN和基于块的双向模型的局限性。
• 将未来上下文建模直接集成到RNN架构中，而无需依赖外部组件（如TDNN层）。
• 在保持或提升ASR性能的同时，减少模型大小和计算成本，相较于LSTM和TDNN-LSTM等强基线模型。

提出的方法

• 提出mGRUIP，一种在输入投影层插入线性投影以压缩输入和隐藏状态的改进型极小门控循环单元（mGRU），从而减少参数量并支持基于瓶颈的上下文建模。
• 引入时间编码模块，通过在输入投影层使用上下文块，将未来上下文编码为固定大小的表示，类似于FSMN。
• 设计时间卷积模块，对时间步长上的拼接未来帧应用参数共享卷积，利用低维投影实现高效的上下文建模。
• 将两个上下文模块应用于高层mGRUIP单元（第l=2至l=5层），其中大多数层的卷积核大小K=1，步长s=3，第l=2层的步长s=1以保持一致的帧率。
• 采用帧级推理策略，最大延迟为170毫秒，通过上下文模块扩展感受野，无需基于块的处理。
• 在Switchboard和内部普通话ASR任务上训练并评估模型，使用相同的配置对LSTM、TDNN-LSTM和mGRUIP变体进行公平比较。

实验结果

研究问题

• RQ1 是否可以通过改进的mGRU架构直接建模未来上下文，而无需依赖外部层（如TDNN）？
• RQ2 在mGRU中插入输入投影层是否能提升ASR性能，同时实现高效的未来上下文建模？
• RQ3 能否设计出时间编码和时间卷积模块，在增加极少计算成本的前提下显著提升识别准确率？
• RQ4 是否可能通过统一的基于RNN的架构，在更低延迟和更少参数下实现优于TDNN-LSTM的ASR性能？
• RQ5 所提出的上下文模块在干净和噪声语音识别任务上的有效性如何？

主要发现

• 在Switchboard Hub5'00测试集上，mGRUIP结合时间卷积相比LSTM实现了13.5%的相对词错误率（WER）降低，且延迟仅为170毫秒。
• 在内部普通话ASR任务中，mGRUIP在干净和噪声测试集上分别将词错误率（CER）相对降低13.0%至24.3%，在高度损坏的数据上取得最大提升。
• 在完整Switchboard测试集上，mGRUIP结合时间卷积的性能优于TDNN-LSTM（WER为13.5% vs. 14.4%），同时参数量减少46%（1870万 vs. 3480万）。
• 模型实现了最大延迟为170毫秒的在线解码，显著低于比较中最强基线模型的2000毫秒延迟。
• 时间卷积带来的性能提升强于时间编码，尽管其略微增加了模型参数量。
• mGRUIP中的输入投影层减少了模型大小，并支持有效的上下文建模，从而在降低参数数量的同时提升了准确率，优于标准mGRU。