[论文解读] Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition

Megha Rughani, D. Shivakrishna|arXiv (Cornell University)|Jun 6, 2015

Voice and Speech Disorders参考文献 4被引用 3

一句话总结

本文提出了一种结合遗传算法优化的混合特征提取与声学建模方法，以提升构音障碍语音的自动语音识别（ASR）性能。通过优化16个声学特征，系统在训练时间为5:30:17的情况下实现了98.28%的识别率，显著优于传统方法。

ABSTRACT

Dysarthria is malfunctioning of motor speech caused by faintness in the human nervous system. It is characterized by the slurred speech along with physical impairment which restricts their communication and creates the lack of confidence and affects the lifestyle. This paper attempt to increase the efficiency of Automatic Speech Recognition (ASR) system for unimpaired speech signal. It describes state of art of research into improving ASR for speakers with dysarthria by means of incorporated knowledge of their speech production. Hybridized approach for feature extraction and acoustic modelling technique along with evolutionary algorithm is proposed for increasing the efficiency of the overall system. Here number of feature vectors are varied and tested the system performance. It is observed that system performance is boosted by genetic algorithm. System with 16 acoustic features optimized with genetic algorithm has obtained highest recognition rate of 98.28% with training time of 5:30:17.

研究动机与目标

• 提升构音障碍患者（因运动性言语障碍导致沟通困难）的自动语音识别（ASR）性能。
• 解决传统ASR系统在处理构音障碍语音时的局限性，此类语音常表现出发音含糊和可懂度降低的问题。
• 开发一种结合特征提取与声学建模的混合方法，并引入进化优化以提升识别准确率。
• 通过遗传算法进行特征选择与优化，评估不同特征向量维度对系统性能的影响。

提出的方法

• 采用混合特征提取方法，整合多种声学特征以更准确地表征构音障碍语音的特性。
• 利用遗传算法对16个声学特征的选择与权重进行优化，提升系统的鲁棒性与识别准确率。
• 采用最先进的ASR框架对构音障碍语音数据进行声学建模训练。
• 系统性地改变并测试特征向量维度，以确定最优配置以实现最佳识别性能。
• 利用进化计算高效搜索特征空间，通过迭代优化最小化错误率。
• 使用大规模构音障碍语音数据集进行训练，以确保模型的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 与传统方法相比，混合特征提取与声学建模方法是否能提升构音障碍语音的ASR性能？
• RQ2 声学特征数量如何影响构音障碍语音识别中的识别准确率？
• RQ3 遗传算法在多大程度上可优化特征选择以提升识别率？
• RQ4 何种声学特征配置能最大化构音障碍说话者的识别准确率？
• RQ5 训练时间如何随特征集大小与优化复杂度而变化？

主要发现

• 系统在使用16个优化后的声学特征时，识别率达到98.28%，为本研究中报告的最高性能。
• 遗传算法显著提升了系统性能，通过有效选择与加权相关声学特征实现。
• 最优配置（16个特征）的训练时间为5小时30分钟17秒，表明计算成本可行。
• 识别性能随特征向量尺寸增加至16个特征而提升，此后不再有进一步增益。
• 混合方法优于基线系统，证明了将言语产生领域的专业知识与进化优化相结合的有效性。
• 结果证实，通过遗传算法进行特征优化是提升构音障碍语音ASR鲁棒性的可行策略。