[论文解读] Deep Recurrent Convolutional Neural Network: Improving Performance For Speech Recognition

Zewang Zhang, Zheng Sun+4 more|arXiv (Cornell University)|Nov 22, 2016

Speech Recognition and Synthesis参考文献 37被引用 17

一句话总结

本文提出了一种新颖的深度循环卷积神经网络（RCNN）架构，该架构逆转了传统的CNN-RNN顺序，将循环网络置于卷积层之前，从而在语音识别中提升了训练效率和识别准确率。通过整合深度残差学习，该模型实现了更快的收敛速度，并在TIMIT数据集上达到了17.33%的最先进音素错误率（PER），优于标准模型和残差增强基线模型。

ABSTRACT

A deep learning approach has been widely applied in sequence modeling problems. In terms of automatic speech recognition (ASR), its performance has significantly been improved by increasing large speech corpus and deeper neural network. Especially, recurrent neural network and deep convolutional neural network have been applied in ASR successfully. Given the arising problem of training speed, we build a novel deep recurrent convolutional network for acoustic modeling and then apply deep residual learning to it. Our experiments show that it has not only faster convergence speed but better recognition accuracy over traditional deep convolutional recurrent network. In the experiments, we compare the convergence speed of our novel deep recurrent convolutional networks and traditional deep convolutional recurrent networks. With faster convergence speed, our novel deep recurrent convolutional networks can reach the comparable performance. We further show that applying deep residual learning can boost the convergence speed of our novel deep recurret convolutional networks. Finally, we evaluate all our experimental networks by phoneme error rate (PER) with our proposed bidirectional statistical n-gram language model. Our evaluation results show that our newly proposed deep recurrent convolutional network applied with deep residual learning can reach the best PER of 17.33\% with the fastest convergence speed on TIMIT database. The outstanding performance of our novel deep recurrent convolutional neural network with deep residual learning indicates that it can be potentially adopted in other sequential problems.

研究动机与目标

• 为解决传统深度卷积循环网络（CRNN）在自动语音识别（ASR）中收敛缓慢和训练时间过长的问题。
• 通过重新排列网络架构，将循环层置于卷积层之前，以提升识别准确率和训练效率。
• 探究深度残差学习在所提架构中对加速收敛速度和提升识别性能的有效性。
• 采用双向统计n-gram语言模型对所提模型进行评估，并与标准CRNN及残差变体进行对比。

提出的方法

• 提出一种新架构RCNN，将循环层置于卷积层之前，逆转典型CRNN结构。
• 通过添加恒等映射的捷径连接应用残差学习，以稳定训练并加速收敛。
• 采用连接时序分类（CTC）实现端到端训练，无需预分割数据。
• 使用在完整训练集上训练的双向统计n-gram语言模型进行解码，以优化音素序列。
• 采用小批量随机梯度下降进行模型训练，结合批量归一化和ReLU激活函数。
• 对比多种变体：CR1–CR4（标准CRNN）、RC1–RC6（所提RCNN）以及Res-RC2/Res-CR2（残差版本）。

实验结果

研究问题

• RQ1 将网络架构重新排序——即在卷积层之前放置循环层——是否能提升语音识别中的收敛速度和识别准确率？
• RQ2 深度残差学习是否能在所提循环卷积网络架构中显著加速收敛并提升性能？
• RQ3 与标准CRNN相比，所提RCNN架构在音素错误率和训练效率方面表现如何？
• RQ4 在更深的CRNN中应用残差块时性能退化的原因是什么，以及如何缓解这一问题？

主要发现

• 所提RC2模型实现了20.71%的测试音素错误率（PER），在性能上与传统深度置信网络具有竞争力。
• CR2模型实现了18.73%的测试PER，优于RC2，但训练时间更长。
• Res-RC2模型实现了最佳测试PER（17.33%）和最快的收敛速度，证明了残差学习在新架构中的有效性。
• Res-CR2模型仅比CR2有轻微提升（PER为18.90%），可能由于残差块深度限制了性能增益。
• RCNN架构在训练初期前半段的收敛速度优于标准CRNN，表明其优化动态更优。
• Res-CR2中观察到的性能退化归因于其残差块的极端深度以及顶层循环层对收敛的影响。