[论文解读] End-to-End Feedback Loss in Speech Chain Framework via Straight-Through Estimator

Andros Tjandra, Sakriani Sakti+1 more|arXiv (Cornell University)|Oct 31, 2018

Speech Recognition and Synthesis参考文献 21被引用 5

一句话总结

该论文在语音链框架中提出了一种端到端反馈损失机制，通过使用直通估计器（ST），实现了从文本到语音（TTS）的重建损失通过离散自动语音识别（ASR）输出进行反向传播。通过结合教师强制的ST-Gumbel-Softmax采样，该方法在ASR中实现了11%的相对字符错误率（CER）降低，证明了通过端到端反馈实现ASR与TTS的联合优化是有效的。

ABSTRACT

The speech chain mechanism integrates automatic speech recognition (ASR) and text-to-speech synthesis (TTS) modules into a single cycle during training. In our previous work, we applied a speech chain mechanism as a semi-supervised learning. It provides the ability for ASR and TTS to assist each other when they receive unpaired data and let them infer the missing pair and optimize the model with reconstruction loss. If we only have speech without transcription, ASR generates the most likely transcription from the speech data, and then TTS uses the generated transcription to reconstruct the original speech features. However, in previous papers, we just limited our back-propagation to the closest module, which is the TTS part. One reason is that back-propagating the error through the ASR is challenging due to the output of the ASR are discrete tokens, creating non-differentiability between the TTS and ASR. In this paper, we address this problem and describe how to thoroughly train a speech chain end-to-end for reconstruction loss using a straight-through estimator (ST). Experimental results revealed that, with sampling from ST-Gumbel-Softmax, we were able to update ASR parameters and improve the ASR performances by 11\% relative CER reduction compared to the baseline.

研究动机与目标

• 实现语音链框架的端到端训练，使TTS重建损失能够通过离散ASR输出反向传播。
• 通过使用直通估计器，克服离散ASR标记在反向传播过程中的不可微性问题。
• 即使在监督学习场景下，也通过TTS重建反馈提升ASR性能。
• 研究不同解码与离散化策略（例如贪婪法、束搜索、Gumbel-Softmax）在实现梯度流动方面的有效性。
• 通过包含ASR和TTS重建组件的联合损失，实现ASR与TTS模块的完全端到端训练。

提出的方法

• 使用直通估计器（ST）近似通过离散ASR输出的梯度，使TTS到ASR的反向传播成为可能。
• 在训练期间对ASR解码器输出使用ST-Gumbel-Softmax采样，以实现对离散标记的可微采样，从而实现梯度估计。
• 将TTS重建损失（$\mathcal{L}^{\text{rec}}_{\text{TTS}}$）整合到整体训练目标中，与标准ASR损失（$\mathcal{L}_{\text{ASR}}$）结合。
• 在ASR解码过程中使用教师强制策略以稳定训练并提升梯度信号质量。
• 在ASR模型中使用多尺度注意力机制（1-历史大小）和LReLU激活函数，同时对Tacotron进行修改以用于TTS，采用8个滤波器组和256维LSTM单元。
• 在$[0.25, 0.5, 1, 2]$范围内优化温度超参数（$\tau$），以在开发集上获得最佳CER。

实验结果

研究问题

• RQ1 尽管离散ASR输出不可微，TTS重建损失是否能有效更新ASR参数？
• RQ2 解码策略的选择（如贪婪法、束搜索、Gumbel-Softmax采样）如何影响端到端反馈训练的性能？
• RQ3 直通估计器在语音链框架中的梯度估计与模型收敛性方面有何影响？
• RQ4 使用TTS重建损失的端到端反馈训练是否能在标准基准上带来可测量的ASR性能提升？
• RQ5 与其它训练策略相比，教师强制与ST-Gumbel-Softmax的组合在CER降低方面表现如何？

主要发现

• 在教师强制和ST-Gumbel-Softmax采样下，所提方法相比最佳基线模型（Att MLP-MA）实现了11%的相对CER降低。
• 采用${\cal L}_{\text{ASR}} + {\cal L}^{\text{rec}}_{\text{TTS}}$和ST-Gumbel-Softmax训练的模型优于所有基线配置，包括使用argmax或贪婪解码的模型。
• 所提模型在WSJ test_eval92数据集上的CER达到5.7%，而基线Att MLP-MA模型为6.43%。
• 结合教师强制的Gumbel-Softmax采样取得了最佳性能，表明带有梯度近似的随机采样比确定性解码更有效。
• 该方法成功实现了通过离散输出从TTS到ASR的梯度流动，验证了直通估计器在语音链框架中的适用性。
• 该改进在多种配置下均保持一致，证实了在结合适当的采样与训练策略时，反馈机制具有鲁棒性。