[论文解读] Deep Neural Network for Automatic Assessment of Dysphonia

Mário Garcia, Ana Lorena Rosset|arXiv (Cornell University)|Feb 25, 2022

Speech and Audio Processing被引用 6

一句话总结

本研究提出一种深度神经网络，通过功率倒谱输入从语音记录中预测GRBAS总体发音障碍严重程度（G），其网络结构旨在检测振幅/频率扰动和噪声。该模型性能接近人类评估者内部一致性水平，优于评估者之间的协议水平，展现出在自动化、标准化语音评估方面具有强大潜力。

ABSTRACT

The purpose of this work is to contribute to the understanding and improvement of deep neural networks in the field of vocal quality. A neural network that predicts the perceptual assessment of overall severity of dysphonia in GRBAS scale is obtained. The design focuses on amplitude perturbations, frequency perturbations, and noise. Results are compared with performance of human raters on the same data. Both the precision and the mean absolute error of the neural network are close to human intra-rater performance, exceeding inter-rater performance.

研究动机与目标

• 开发一种深度神经网络，用于在GRBAS量表上自动预测总体发音障碍严重程度（G）。
• 通过替代或支持人工听觉-感知评估，减少临床语音评估中的主观性和变异性。
• 设计一种神经网络架构，以捕捉语音质量的关键声学相关特征：振幅和频率扰动，以及噪声。
• 以评估者内部一致性和评估者之间一致性的协议为基准，评估模型性能。
• 通过稳健且可泛化的架构与评估方法，为未来临床部署基于人工智能的语音质量分类器奠定基础。

提出的方法

• 该模型采用具有双分支结构的深度神经网络：一条路径处理振幅和频率扰动，另一条路径专注于噪声，均使用卷积层。
• 输入特征源自语音信号的功率倒谱，其编码了与语音质量相关的频谱包络和周期性信息。
• 网络采用多个不同卷积核大小的卷积层，以捕捉多尺度平滑模式，灵感来源于图像识别中的标量空间理论。
• 架构包含全连接层用于最终分类，输出为预测的GRBAS G评分（0–3）。
• 通过将模型预测与人工评估者评分进行比较，使用评估者内部一致性和评估者之间一致性作为参考基线来评估性能。
• 模型在包含人工评分GRBAS分数的语音记录数据集上进行训练，使用平均绝对误差和分类准确率作为评估指标。

实验结果

研究问题

• RQ1 深度神经网络能否在GRBAS量表上实现对总体发音障碍严重程度（G）的自动评估，且性能可与人类评估者相媲美？
• RQ2 所提出的神经网络性能与人类专家的评估者内部一致性和评估者之间变异性相比如何？
• RQ3 针对扰动和噪声分别优化的双分支架构在多大程度上提升了GRBAS G的预测准确性？
• RQ4 多种平滑尺度（不同卷积核大小）在增强模型检测语音质量特征能力方面起到何种作用？
• RQ5 该模型在更广泛临床人群和场景中泛化的关键局限性是什么？

主要发现

• 该深度神经网络实现的平均绝对误差（MAE）接近人类评估者内部一致性水平，表明其与单个评估者的一致性极高。
• 模型性能优于评估者之间的一致性，表明其在语音评估中可超越人类评估的变异性。
• 双分支架构有效捕捉了与振幅/频率扰动和噪声相关的不同声学模式，从而提升了G评分的预测能力。
• 使用多种卷积核大小（不同平滑尺度）增强了特征提取能力，与模式识别中标量空间理论的原则相一致。
• 尽管性能优异，该模型的泛化能力仍受限于训练数据的规模和变异性，特别是在人口统计学特征和录音条件多样性方面。
• 研究结论认为，尽管该模型是一个强有力的起点，但临床部署仍需更大、更多样化的数据集以及进一步的架构优化。