[论文解读] A three-dimensional approach to Visual Speech Recognition using Discrete Cosine Transforms

Toni Heidenreich, Michael Spratling|arXiv (Cornell University)|Sep 7, 2016

Speech and Audio Processing参考文献 43被引用 4

一句话总结

该论文提出了一种基于三维离散余弦变换（3D DCT）的新方法用于视觉语音识别，该方法从视频的所有可行子序列中提取时空特征，通过支持向量机（SVM）进行分类，并利用自定义隐马尔可夫模型（HMM）融合结果。该方法在音素序列上的准确率为20%，在音位序列上的准确率为39%，相比之前的工作分别提升了约2%，首次证明了3D特征在连续识别中优于2D方法，同时证实双音素（biphones）显著提升了准确率。

ABSTRACT

Visual speech recognition aims to identify the sequence of phonemes from continuous speech. Unlike the traditional approach of using 2D image feature extraction methods to derive features of each video frame separately, this paper proposes a new approach using a 3D (spatio-temporal) Discrete Cosine Transform to extract features of each feasible sub-sequence of an input video which are subsequently classified individually using Support Vector Machines and combined to find the most likely phoneme sequence using a tailor-made Hidden Markov Model. The algorithm is trained and tested on the VidTimit database to recognise sequences of phonemes as well as visemes (visual speech units). Furthermore, the system is extended with the training on phoneme or viseme pairs (biphones) to counteract the human speech ambiguity of co-articulation. The test set accuracy for the recognition of phoneme sequences is 20%, and the accuracy of viseme sequences is 39%. Both results improve the best values reported in other papers by approximately 2%. The contribution of the result is three-fold: Firstly, this paper is the first to show that 3D feature extraction methods can be applied to continuous sequence recognition tasks despite the unknown start positions and durations of each phoneme. Secondly, the result confirms that 3D feature extraction methods improve the accuracy compared to 2D features extraction methods. Thirdly, the paper is the first to specifically compare an otherwise identical method with and without using biphones, verifying that the usage of biphones has a positive impact on the result.

研究动机与目标

• 为解决2D特征提取在视觉语音识别中的局限性，即由于未知的音素起始时间和持续时间而无法捕捉时间动态。
• 探索三维离散余弦变换（DCT）在连续视频序列中提取时空特征的可行性和有效性。
• 研究将双音素（连续音素对）引入是否能通过减轻合音效应来提升识别准确率。
• 开发一种定制的隐马尔可夫模型（HMM），将各个子序列的分类结果整合为一致的音素或音位序列。
• 在VidTimit数据集上评估该方法，并在相同条件下与现有方法进行性能比较。

提出的方法

• 采用鲁棒的基于模型的跟踪方法从视频帧中分割出嘴部区域，以确保输入的一致性。
• 对视频的所有可行子序列应用三维离散余弦变换（DCT），以提取时空特征，捕捉随时间变化的运动与形状动态。
• 每个子序列独立地通过支持向量机（SVM）进行分类，SVM基于3D DCT系数训练，以预测最可能的音素或音位。
• 使用自定义隐马尔可夫模型（HMM）将各个子序列的预测结果整合为全局最优的音素或音位序列，同时考虑时间上的转移关系。
• 系统引入了两项关键对策：通过反向移位训练数据来校正音视频时间偏移，以及使用双音素来减少合音效应带来的歧义。
• 通过计算每个可能起始时间与持续时间的概率，处理音素位置和持续时间的不确定性，再通过HMM解码选择最佳序列。

实验结果

研究问题

• RQ1 尽管音素的起始时间和持续时间未知，3D离散余弦变换（DCT）特征是否仍能有效用于连续视觉语音识别？
• RQ2 与传统的2D帧级特征提取方法相比，使用3D时空特征是否能带来更高的识别准确率？
• RQ3 与单独使用音素相比，引入双音素（连续音素对）在多大程度上能提升识别准确率？
• RQ4 定制的隐马尔可夫模型是否能有效将各个子序列的预测结果整合为一致且准确的音素序列？
• RQ5 音视频时间偏移和合音效应如何影响识别性能，是否能在视觉语音识别系统中有效缓解这些问题？

主要发现

• 所提出的基于3D DCT的方法在音素序列识别测试集上达到了20%的准确率，相比之前报告的最佳结果提升了2%。
• 在音位序列识别方面，该方法达到了39%的准确率，相比之前工作提升了2%，且提升的统计显著性p值为0.0072。
• 研究证实，在相同条件下，3D特征提取优于2D特征提取，证明了时空上下文能提升识别性能。
• 使用双音素显著提升了识别准确率，且这是首次在其他条件完全相同的情况下，明确比较有无双音素的方法，从而证实了其积极影响。
• 该方法通过从所有可行子序列中提取特征并利用定制HMM进行融合，成功克服了音素位置和持续时间未知的挑战。
• 尽管有所改进，系统仍表现出对较长音素和高频音素的偏见，且由于需处理所有子序列，执行时间仍然较高。