[论文解读] End-to-End Training Approaches for Discriminative Segmental Models

Hao Tang, Weiran Wang+2 more|arXiv (Cornell University)|Oct 21, 2016

Speech Recognition and Synthesis参考文献 8被引用 3

一句话总结

本文研究了基于LSTM特征编码器和线性分段模型的判别性分段模型的端到端训练方法。研究发现，边际对数损失在无真实对齐的情况下也能实现优异性能；而当存在对齐时，先进行两阶段训练再进行端到端微调可获得最佳结果，且正则化dropout对泛化至关重要。

ABSTRACT

Recent work on discriminative segmental models has shown that they can achieve competitive speech recognition performance, using features based on deep neural frame classifiers. However, segmental models can be more challenging to train than standard frame-based approaches. While some segmental models have been successfully trained end to end, there is a lack of understanding of their training under different settings and with different losses. We investigate a model class based on recent successful approaches, consisting of a linear model that combines segmental features based on an LSTM frame classifier. Similarly to hybrid HMM-neural network models, segmental models of this class can be trained in two stages (frame classifier training followed by linear segmental model weight training), end to end (joint training of both frame classifier and linear weights), or with end-to-end fine-tuning after two-stage training. We study segmental models trained end to end with hinge loss, log loss, latent hinge loss, and marginal log loss. We consider several losses for the case where training alignments are available as well as where they are not. We find that in general, marginal log loss provides the most consistent strong performance without requiring ground-truth alignments. We also find that training with dropout is very important in obtaining good performance with end-to-end training. Finally, the best results are typically obtained by a combination of two-stage training and fine-tuning.

研究动机与目标

• 比较端到端与两阶段训练策略在语音识别中判别性分段模型的表现。
• 评估在有无真实分段的情况下，不同损失函数（合页损失、对数损失、潜在合页损失和边际对数损失）在不同训练设置下的影响。
• 确定在两阶段训练后进行端到端微调是否优于从零开始的端到端训练。
• 评估正则化dropout在端到端训练中防止过拟合的重要性。
• 评估模型生成的强制对齐质量，以评估其在无需人工分段的情况下用于两阶段训练的有效性。

提出的方法

• 模型使用3层双向LSTM作为特征编码器，从语音输入（如MFCC）中提取帧级表征。
• 线性分段模型将这些特征组合以预测标签序列，分段权重通过可微分损失函数进行优化。
• 端到端训练通过反向传播联合优化LSTM和分段模型参数，覆盖整个搜索空间。
• 两阶段训练首先使用帧级标签（如强制对齐）训练LSTM，然后使用固定特征训练分段模型。
• 在两阶段训练后应用端到端微调，使用相同的损失函数进一步提升性能。
• 每种损失函数（合页损失、对数损失、潜在合页损失、边际对数损失）的梯度计算涉及对搜索空间的前向-反向传播，必要时还包括对分段空间的传播。

实验结果

研究问题

• RQ1 当缺乏真实分段时，端到端训练使用边际对数损失是否优于其他损失函数？
• RQ2 与从零开始的端到端训练相比，两阶段训练后接端到端微调在性能上表现如何？
• RQ3 dropout在端到端分段模型训练中对泛化的影响如何？
• RQ4 使用边际对数损失训练的模型能否生成高质量的强制对齐，以支持无需人工标注的两阶段训练？
• RQ5 不同损失函数在梯度计算时间上的计算成本如何比较？

主要发现

• 在无真实分段的设置下，使用边际对数损失的端到端训练表现最佳，在测试集上达到20.1%的音素错误率。
• 当存在真实分段时，两阶段训练后接对数损失的端到端微调达到最佳结果，在开发集上错误率为18.6%。
• 使用边际对数损失训练的系统生成了高质量的强制对齐，96.7%的音素边界在40ms容差范围内被正确对齐。
• 使用dropout训练可显著提升泛化能力，尤其在端到端设置中，对实现优异性能至关重要。
• 在存在对齐的情况下，两阶段训练后接端到端微调相比仅两阶段训练，性能相对提升10%。
• 边际对数损失的计算成本最高（每轮梯度计算耗时2.10小时，不含LSTM部分），与其需在搜索空间进行两次、分段空间进行两次遍历一致。