[论文解读] Analyzing Hidden Representations in End-to-End Automatic Speech Recognition Systems

Yonatan Belinkov, James Glass|arXiv (Cornell University)|Sep 13, 2017

Speech Recognition and Synthesis参考文献 27被引用 35

一句话总结

本文基于基于卷积和循环神经网络的端到端自动语音识别（ASR）模型，采用连接时序分类（CTC）进行训练，分析了模型隐藏表征。通过在不同层的特征上微调帧级音素分类器，研究发现较低层——尤其是第一卷积层和早期循环层——捕获了最具音素意义的表征，而深层表征则导致性能下降，表明音素信息在深层网络中并未一致保留。

ABSTRACT

Neural models have become ubiquitous in automatic speech recognition systems. While neural networks are typically used as acoustic models in more complex systems, recent studies have explored end-to-end speech recognition systems based on neural networks, which can be trained to directly predict text from input acoustic features. Although such systems are conceptually elegant and simpler than traditional systems, it is less obvious how to interpret the trained models. In this work, we analyze the speech representations learned by a deep end-to-end model that is based on convolutional and recurrent layers, and trained with a connectionist temporal classification (CTC) loss. We use a pre-trained model to generate frame-level features which are given to a classifier that is trained on frame classification into phones. We evaluate representations from different layers of the deep model and compare their quality for predicting phone labels. Our experiments shed light on important aspects of the end-to-end model such as layer depth, model complexity, and other design choices.

研究动机与目标

• 探究端到端ASR模型是否在无显式音素监督的情况下隐式学习到具有音素意义的表征。
• 评估深度端到端ASR模型中不同层的表征质量变化情况。
• 确定模型复杂度与深度是否与更好的音素表征学习相关。
• 评估ASR性能与隐藏表征学习质量之间的关系。
• 探索高层表征是否支持对辅音、元音等粗粒度音素类别进行抽象表征。

提出的方法

• 在预训练的基于CTC的端到端ASR模型不同层的隐藏表征上微调一个帧级音素分类器。
• 使用带有帧级音素对齐的音素分割数据集，以实现对表征质量的精确评估。
• 在每一层的帧级特征上训练一个多层感知机分类器，以预测音素标签。
• 通过分类准确率和F1分数评估表征质量，并比较各层之间的性能差异。
• 使用t-SNE可视化表征，评估向量空间中类别的可分性。
• 将分析扩展至粗粒度音素类别（如清塞音、擦音、元音等），并比较各层在这些类别上的性能表现。

实验结果

研究问题

• RQ1 端到端ASR模型在无显式音素监督的情况下，能在多大程度上学习到音素信息？
• RQ2 在深度端到端模型中，哪些层能捕获到对音素单元最具信息量的表征？
• RQ3 增加模型深度或复杂度是否能提升所学音素表征的质量？
• RQ4 ASR系统性能与隐藏层中学习到的表征质量之间是否存在相关性？
• RQ5 网络高层是否更能表征辅音、元音等抽象音素类别？

主要发现

• 第一卷积层（cnn1）和早期循环层（如rnn5）的音素分类准确率最高，表明其音素表征质量更优。
• 第二卷积层（cnn2）显著降低了音素分类性能，表明深层卷积层可能丢失了音素细节。
• 音素分类性能在早期循环层中有所提升，但在最终循环层中开始下降，表明顶层未能有效保留音素信息。
• 较低层的表征在t-SNE可视化中表现出更好的类别可分性，音素单元的聚类更清晰。
• 对于粗粒度音素类别，高层（如rnn5）表现不一：在清塞音和鼻音上的预测性能有所提升，但在其他类别上则下降，表明其效用具有上下文依赖性。
• 在rnn5层，清塞音的F1分数上升，而鼻音的类内F1分数也有所改善，表明当上下文关键时，高层可能更善于区分同类内的音素。