[论文解读] Hierarchical Multitask Learning for CTC-based Speech Recognition

Kalpesh Krishna, Shubham Toshniwal+1 more|arXiv (Cornell University)|Jul 17, 2018

Speech Recognition and Synthesis参考文献 31被引用 36

一句话总结

本文提出了一种基于CTC的端到端语音识别的分层多任务学习框架，其中在深度双向LSTM编码器的中间层应用音素级CTC损失，以提升子词级自动语音识别性能。当结合分层多任务学习与预训练时，该方法在Eval2000测试集上实现了3.4%的绝对WER降低，优于标准多任务学习和单独使用预训练的方法。

ABSTRACT

Previous work has shown that neural encoder-decoder speech recognition can be improved with hierarchical multitask learning, where auxiliary tasks are added at intermediate layers of a deep encoder. We explore the effect of hierarchical multitask learning in the context of connectionist temporal classification (CTC)-based speech recognition, and investigate several aspects of this approach. Consistent with previous work, we observe performance improvements on telephone conversational speech recognition (specifically the Eval2000 test sets) when training a subword-level CTC model with an auxiliary phone loss at an intermediate layer. We analyze the effects of a number of experimental variables (like interpolation constant and position of the auxiliary loss function), performance in lower-resource settings, and the relationship between pretraining and multitask learning. We observe that the hierarchical multitask approach improves over standard multitask training in our higher-data experiments, while in the low-resource settings standard multitask training works well. The best results are obtained by combining hierarchical multitask learning and pretraining, which improves word error rates by 3.4% absolute on the Eval2000 test sets.

研究动机与目标

• 研究在中间层引入音素级监督的分层多任务学习在基于CTC的端到端语音识别中的有效性。
• 分析插值常数、损失层位置以及数据资源水平对模型性能的影响。
• 将分层多任务学习与标准多任务学习及预训练方法进行比较，并评估其组合效果。
• 理解辅助音素级任务如何影响深度自动语音识别模型的优化与泛化能力。

提出的方法

• 深度双向LSTM编码器处理输入的声学特征，子词级CTC损失应用于最终输出层。
• 在中间隐藏层引入辅助音素级CTC损失，以提供中间监督。
• 总体损失为子词CTC损失与音素CTC损失的加权和，插值常数λ控制两者之间的权衡。
• 通过先使用音素CTC损失进行预训练，再联合训练子词CTC损失的方式进行模型训练。
• 改变辅助损失的位置（即具体使用哪一层），以评估其对性能的影响。
• 采用贪婪解码生成帧级对齐结果，用于与真实词对齐进行定性比较。

实验结果

研究问题

• RQ1 在Switchboard 300小时数据集上，在中间层应用音素级CTC损失是否能提升子词级CTC语音识别的性能？
• RQ2 子词CTC损失与音素CTC损失之间的插值常数λ的选择，如何影响主任务与辅助任务的性能表现？
• RQ3 在高资源与低资源设置下，分层多任务学习是否优于标准多任务学习？
• RQ4 将音素CTC损失的预训练与后续的分层多任务学习相结合，是否能获得优于单独使用任一方法的结果？
• RQ5 模型的帧级对齐结果与真实对齐相比如何？多任务学习是否导致更早或更自信的预测？

主要发现

• 性能最佳的模型结合了预训练与分层多任务学习，在Eval2000测试集上相比基线子词级CTC模型实现了3.4%的绝对WER降低。
• 在高资源设置下，分层多任务学习优于标准多任务训练；而在低资源设置下，标准多任务训练表现更优。
• 最优插值常数λ无法同时最大化主任务（子词）与辅助任务（音素）的性能，表明两项目标之间存在权衡。
• 多任务模型的预测比基线模型提前一个帧（20ms），表明其预测更早或时间对齐更优。
• 单独使用预训练可提升性能，但与分层多任务学习结合后效果最佳，证实了二者具有协同增益。
• 定性分析表明，多任务模型的对齐结果比基线模型更符合真实词边界，尤其在复杂语音样本中表现更优。