[论文解读] MBNet: MOS Prediction for Synthesized Speech with Mean-Bias Network

Yichong Leng, Xu Tan+4 more|arXiv (Cornell University)|Feb 27, 2021

Speech Recognition and Synthesis参考文献 23被引用 5

一句话总结

MBNet 提出了一种新颖的均值-偏差网络用于合成语音的MOS预测，通过联合利用话语级别的均值分数和个体评分者的偏差来提升性能。通过联合训练均值子网络和偏差子网络，相较于MOSNet基线模型，在VCC 2018和VCC 2016数据集上分别实现了2.9%和6.7%的系统级SRCC提升。

ABSTRACT

Mean opinion score (MOS) is a popular subjective metric to assess the quality of synthesized speech, and usually involves multiple human judges to evaluate each speech utterance. To reduce the labor cost in MOS test, multiple methods have been proposed to automatically predict MOS scores. To our knowledge, for a speech utterance, all previous works only used the average of multiple scores from different judges as the training target and discarded the score of each individual judge, which did not well exploit the precious MOS training data. In this paper, we propose MBNet, a MOS predictor with a mean subnet and a bias subnet to better utilize every judge score in MOS datasets, where the mean subnet is used to predict the mean score of each utterance similar to that in previous works, and the bias subnet to predict the bias score (the difference between the mean score and each individual judge score) and capture the personal preference of individual judges. Experiments show that compared with MOSNet baseline that only leverages mean score for training, MBNet improves the system-level spearmans rank correlation co-efficient (SRCC) by 2.9% on VCC 2018 dataset and 6.7% on VCC 2016 dataset.

研究动机与目标

• 为解决现有MOS预测模型中对个体评分者分数的低效利用问题，这些模型虽保留了详细评分但仍在有限训练数据下被忽略。
• 缓解因评分标准不一致和个人偏好差异导致的评分者间偏差所引发的性能下降。
• 通过专用偏差子网络联合建模均值分数与个体评分者偏差，提升MOS预测准确性。
• 通过裁剪均方误差损失和重复填充策略，稳定训练过程并防止对噪声个体标签的过拟合。
• 开发一种可泛化的框架，无需架构限制即可增强现有MOS预测主干网络。

提出的方法

• MBNet采用双分支架构：均值子网络用于预测每个话语的平均MOS分数，与先前工作类似。
• 引入偏差子网络以预测每个个体评分者分数与话语均值分数之间的偏差（偏差）。
• 最终评分预测通过将均值分数与预测偏差相加得到，实现对整体质量与个体偏好的联合学习。
• 模型采用裁剪均方误差（CMSE）损失，以减少对可能不一致的个体标签的过拟合。
• 训练过程中应用重复填充策略，以更好地处理每条话语中评分者数量不一致的问题，相比零填充更具鲁棒性。
• 该框架模块化且兼容多种主干网络架构，支持与多任务学习或全局质量标记等先进方法的集成。

实验结果

研究问题

• RQ1 在MOS数据集中利用个体评分者分数是否能相比仅使用均值分数，提升自动MOS预测模型的性能？
• RQ2 通过专用偏差子网络建模评分者间偏差，是否能带来更鲁棒且更准确的MOS预测？
• RQ3 裁剪均方误差损失是否能有效减少对噪声个体评分者分数的过拟合，同时提升系统级相关性？
• RQ4 在推理中正确使用评分者身份在多大程度上提升了预测性能，表明偏差学习已成功实现？
• RQ5 在系统级斯皮尔曼等级相关系数（SRCC）方面，MBNet框架与当前最先进MOS预测模型相比表现如何？

主要发现

• 与MOSNet基线相比，MBNet在VCC 2016数据集上实现了6.7%的系统级SRCC提升，SRCC从0.853提升至0.920。
• 在VCC 2018数据集上，MBNet将系统级SRCC提升了2.9%，达到0.949，而基线为0.920。
• 消融实验表明，若移除偏差子网络，性能下降，证明其对泛化与准确性的贡献。
• 仅使用偏差子网络时表现较差（VCC 2018上SRCC为0.343），表明其依赖均值子网络实现泛化，仅在联合训练时才能学习到评分者特异性偏差。
• 在推理中使用正确的评分者身份，可使话语级SRCC从仅使用MeanNet的0.647提升至0.740（MeanNet + BiasNet），证实偏差子网络成功捕捉了个体评分者偏好。
• 裁剪MSE损失通过防止对精确标签的过拟合，提升了系统级性能，尽管略微降低了话语级准确率。