[论文解读] Improving Phoneme segmentation with Recurrent Neural Networks.

Paul Michel, Okko Räsänen+2 more|arXiv (Cornell University)|Aug 1, 2016

Speech Recognition and Synthesis参考文献 16被引用 7

一句话总结

本文提出一种基于循环神经网络的无监督音素分割方法，用于在MFCC空间中建模语音动态。通过分析帧级预测误差并检测局部极大值作为边界候选，该方法在TIMIT数据集上的分割准确率优于先前方法。

ABSTRACT

Phonemic segmentation of speech is a critical step of speech recognition systems. We propose a novel unsupervised algorithm based on sequence prediction models such as Markov chains and recurrent neural network. Our approach consists in analyzing the error profile of a model trained to predict speech features frame-by-frame. Specifically, we try to learn the dynamics of speech in the MFCC space and hypothesize boundaries from local maxima in the prediction error. We evaluate our system on the TIMIT dataset, with improvements over similar methods.

研究动机与目标

• 通过利用语音特征的序列建模来提升语音识别中的音素分割性能。
• 使用循环神经网络在MFCC特征空间中建模语音动态。
• 通过识别帧级预测误差中的局部极大值来检测音素边界。
• 开发一种无需训练时使用转录边界信息的无监督方法。
• 在标准TIMIT基准上评估性能，并展示对现有方法的改进。

提出的方法

• 训练一个循环神经网络，逐帧预测语音特征（MFCC）。
• 为每帧计算预测误差，以捕捉与预期特征的偏差。
• 将预测误差信号中的局部极大值假设为潜在的音素边界。
• 该方法以无监督方式运行，仅依赖误差模式而无需真实对齐。
• 通过RNN进行序列建模，捕捉语音动态中的时序依赖性，从而增强误差特征的敏感性。
• 该方法结合马尔可夫链式假设与深度学习，实现边界检测。

实验结果

研究问题

• RQ1 循环神经网络能否有效建模MFCC空间中的语音动态，从而提升音素分割性能？
• RQ2 在无监督设置下，预测误差特征能否揭示可靠的音素边界候选？
• RQ3 所提方法在TIMIT数据集上与现有无监督分割技术相比性能如何？
• RQ4 预测误差中的局部极大值在多大程度上与实际音素边界相对应？
• RQ5 仅在语音特征上训练的序列预测模型能否在无转录数据的情况下产生有意义的分割？

主要发现

• 与类似无监督方法相比，所提方法在TIMIT数据集上实现了更优的音素分割性能。
• 预测误差分析能有效突出高不确定性区域，这些区域与音素边界具有相关性。
• 在缺乏转录数据的情况下，误差信号中的局部极大值可作为可靠的边界检测指标。
• 利用RNN建模时序动态可增强基于误差的边界检测敏感性。
• 该方法证明了仅使用帧级预测误差即可实现无监督音素分割的可行性。
• 该方法优于仅依赖语音能量或谱通量的基线方法。