[论文解读] Improving End-to-End Speech Recognition with Policy Learning

Yingbo Zhou, Caiming Xiong+1 more|arXiv (Cornell University)|Dec 19, 2017

Speech Recognition and Synthesis参考文献 24被引用 7

一句话总结

该论文提出了一种多目标训练方法，通过自 critical sequence training (SCST) 将最大似然（CTC）与策略梯度学习相结合，直接优化端到端自动语音识别中的词错误率（WER）。与仅使用 CTC 的训练相比，该方法在 Wall Street Journal 和 Librispeech 数据集上分别将相对性能提升了 4% 至 13%，在 Wall Street Journal 上达到 5.53% 的 WER，在 Librispeech test-clean 上达到 5.42% 的 WER。

ABSTRACT

Connectionist temporal classification (CTC) is widely used for maximum likelihood learning in end-to-end speech recognition models. However, there is usually a disparity between the negative maximum likelihood and the performance metric used in speech recognition, e.g., word error rate (WER). This results in a mismatch between the objective function and metric during training. We show that the above problem can be mitigated by jointly training with maximum likelihood and policy gradient. In particular, with policy learning we are able to directly optimize on the (otherwise non-differentiable) performance metric. We show that joint training improves relative performance by 4% to 13% for our end-to-end model as compared to the same model learned through maximum likelihood. The model achieves 5.53% WER on Wall Street Journal dataset, and 5.42% and 14.70% on Librispeech test-clean and test-other set, respectively.

研究动机与目标

• 解决端到端语音识别中训练所用的最大似然目标与实际性能指标（WER）之间的不匹配问题。
• 通过利用强化学习技术，克服优化不可微分指标（如 WER）的挑战。
• 开发一种高效的联合训练策略，结合 CTC 和策略梯度，以提升最终识别准确率。
• 证明通过策略学习直接优化 WER 可带来一致的性能提升，且无需额外训练数据。

提出的方法

• 在端到端 ASR 的序列标注中，将连接主义时间分类（CTC）作为主要的最大似然目标。
• 引入基于自 critical sequence training (SCST) 的策略梯度目标，通过模型自身假设与贪婪参考之间的预期奖励差异来估计梯度。
• 制定一种结合 CTC 损失与 SCST 的负预期 WER 的多目标损失，实现联合优化。
• 使用 REINFORCE 算法并采用单样本近似来高效估计策略梯度，降低计算成本。
• 在前端使用残差连接和深度可分离卷积，实现高效的特征提取。
• 采用调度采样和课程学习，随着训练进程逐步将策略学习权重（λ）从 0.1 增加到 1.0。

Fig. 1 : Model architecture of our end-to-end speech model. Different colored blocks represent different layers as shown on the right, the lightning symbol indicates dropout happens between the two layers.

实验结果

研究问题

• RQ1 策略梯度学习能否在端到端语音识别中有效优化 WER 等不可微分指标？
• RQ2 与标准 CTC 训练相比，CTC 与策略梯度的联合训练是否能在 WER 上带来可测量的改进？
• RQ3 在使用单样本近似估计策略梯度的情况下，该方法在训练成本方面是否高效？
• RQ4 当在更大规模数据集上训练时，模型是否具有更好的泛化能力？策略学习是否会增强这种泛化能力？

主要发现

• 通过 SCST 实现 CTC 与策略梯度的联合训练，在 WSJ eval92 集上相比仅使用 CTC 的基线模型，WER 相对降低了 13.8%。
• 在 Librispeech 上，该方法相比基线实现了 4% 的相对 WER 改进，在 test-clean 上达到 5.42%，在 test-other 上达到 14.70%。
• 该模型在 Wall Street Journal 数据集上实现了 5.53% 的 WER，优于无需额外数据的先前端到端模型。
• 在 WSJ 上微调的 Librispeech 模型优于直接在 WSJ 上训练的模型，表明策略学习带来了更好的泛化能力。
• 该方法在不使用更多训练数据的情况下，达到了与 Amodei et al. [6] 等先进模型相当的性能。
• 在策略梯度估计中使用单样本近似被证明既有效又高效，使实际的联合训练成为可能。