[论文解读] InQSS: a speech intelligibility assessment model using a multi-task learning network.

Yu‐Wen Chen, Yu Tsao|arXiv (Cornell University)|Nov 4, 2021

Speech and Audio Processing参考文献 27被引用 4

一句话总结

InQSS 是一种多任务学习语音可懂度评估模型，利用频谱图和散射系数作为输入特征，联合预测可懂度与质量评分。实验结果表明，散射系数和质量评分显著提升了可懂度预测性能，同时本文发布了用于中文语音评估的 TMHINT-QI 数据集。

ABSTRACT

Speech intelligibility assessment models are essential tools for researchers to evaluate and improve speech processing models. In this study, we propose InQSS, a speech intelligibility assessment model that uses both spectrogram and scattering coefficients as input features. In addition, InQSS uses a multi-task learning network in which quality scores can guide the training of the speech intelligibility assessment. The resulting model can predict not only the intelligibility scores but also the quality scores of a speech. The experimental results confirm that the scattering coefficients and quality scores are informative for intelligibility. Moreover, we released TMHINT-QI, which is a Chinese speech dataset that records the quality and intelligibility scores of clean, noisy, and enhanced speech.

研究动机与目标

• 开发一种鲁棒的语音可懂度评估模型，通过整合多种信号表示形式以提升预测准确性。
• 探究散射系数作为语音可懂度建模中信息性特征的有效性。
• 探索在可懂度与质量评分上联合训练的多任务学习所带来的优势。
• 创建并发布一个新的中文语音数据集（TMHINT-QI），包含对清晰、嘈杂及增强语音的质量与可懂度评分的标注，用于中文语音评估。
• 提供一个统一框架，从语音信号中同时预测可懂度与质量评分。

提出的方法

• InQSS 使用频谱图和散射系数作为双输入特征，以捕捉时间-频率特性与信号的不变特性。
• 该模型采用多任务学习架构，共享分支与特定任务分支并行运行，同时预测可懂度与质量评分。
• 通过基于小波的变换计算散射系数，以提取对语音退化敏感的稳定低层次特征。
• 多任务损失函数将可懂度与质量评分预测损失相结合，以联合优化两个目标。
• 网络在新发布的 TMHINT-QI 数据集上进行端到端训练，该数据集包含多种语音条件。
• 在最终预测头之前应用特征级融合，以实现跨任务的特征交互。

实验结果

研究问题

• RQ1 与仅使用频谱图相比，散射系数是否能提升语音可懂度评估模型的性能？
• RQ2 在多任务学习框架中，质量评分在多大程度上提升了可懂度预测能力？
• RQ3 联合学习可懂度与质量评分预测在提升模型泛化能力方面有多有效？
• RQ4 不同输入特征（频谱图 vs. 散射系数）对最终可懂度预测的贡献如何？
• RQ5 所提出的模型在清晰、嘈杂及增强语音条件下的泛化能力如何？

主要发现

• 与仅使用频谱图的模型相比，引入散射系数显著提升了可懂度预测性能。
• 与质量评分联合训练增强了模型在各类语音退化类型中的泛化能力。
• 多任务学习框架使可懂度与质量评分的预测更加稳定且准确。
• 实验结果证实，散射系数与质量评分均为可懂度评估中的信息性特征。
• 发布的 TMHINT-QI 数据集为中文语音处理中的可懂度与质量评估提供了宝贵的基准。