[论文解读] Improved Regularization Techniques for End-to-End Speech Recognition

Yingbo Zhou, Caiming Xiong+1 more|arXiv (Cornell University)|Dec 19, 2017

Speech Recognition and Synthesis参考文献 18被引用 12

一句话总结

本文提出了一种改进的正则化技术——具体包括独立的节奏与音高增强、噪声注入以及多层dropout——用于端到端语音识别模型。通过结合这些方法，作者在WSJ和LibriSpeech数据集上均实现了超过20%的相对词错误率（WER）降低，取得了新的最先进结果：在WSJ上达到6.26%的WER，在LibriSpeech测试纯净集上达到5.67%。

ABSTRACT

Regularization is important for end-to-end speech models, since the models are highly flexible and easy to overfit. Data augmentation and dropout has been important for improving end-to-end models in other domains. However, they are relatively under explored for end-to-end speech models. Therefore, we investigate the effectiveness of both methods for end-to-end trainable, deep speech recognition models. We augment audio data through random perturbations of tempo, pitch, volume, temporal alignment, and adding random noise.We further investigate the effect of dropout when applied to the inputs of all layers of the network. We show that the combination of data augmentation and dropout give a relative performance improvement on both Wall Street Journal (WSJ) and LibriSpeech dataset of over 20%. Our model performance is also competitive with other end-to-end speech models on both datasets.

研究动机与目标

• 研究数据增强与dropout在减少高度灵活的端到端语音模型过拟合方面的有效性。
• 探索在音频数据增强中对节奏与音高进行独立控制，以超越传统速度扰动的手段提升数据多样性。
• 评估在端到端语音识别中，将dropout应用于所有网络层（而不仅输出层）的影响。
• 证明结合数据增强与dropout可实现在标准基准上的最先进性能。

提出的方法

• 通过SoX音频工具对原始音频进行数据增强，独立扰动节奏、音高、音量和时间对齐。
• 注入随机白噪声并调整增益，生成训练音频的噪声变体。
• 实现分层特定率的dropout：输入层为0.1，卷积层为0.2，循环层与全连接层为0.3。
• 使用深度可分离卷积与残差块（ResNet风格）以提升训练效率与梯度流动。
• 在所有层中应用批量归一化，并采用4层双向GRU进行序列建模。
• 使用权重衰减进行训练，并在推理时采用beam search解码与4-gram语言模型。

实验结果

研究问题

• RQ1 在原始音频层面独立扰动节奏与音高是否能比传统的速度扰动带来更好的泛化性能？
• RQ2 在端到端语音模型的所有输入层应用dropout是否能显著减少过拟合并提升性能？
• RQ3 数据增强与dropout的联合效应在端到端语音识别中的词错误率上表现如何？
• RQ4 这些正则化技术与先前的最先进模型相比，在WSJ和LibriSpeech等标准基准上的表现如何？

主要发现

• 在WSJ数据集上，数据增强与dropout的结合使词错误率从基线的8.38%降低至6.42%，实现了23.39%的相对提升。
• 在LibriSpeech测试纯净集上，最终模型达到5.67% WER，相比基线的7.45%实现了23.89%的相对提升。
• 在LibriSpeech测试其他集上，模型达到15.18% WER，相比基线的22.59%实现了32.80%的相对提升。
• 尽管仅在标准训练集上进行训练，该模型仍取得了与最先进方法（包括Amodei et al. [9]）相当的性能。
• 训练曲线显示，正则化缩小了训练损失与验证损失之间的差距，表明泛化能力更强。
• 消融实验确认，数据增强与dropout各自均显著贡献，且联合使用时收益最大。