[论文解读] LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech

Wen-Chin Huang, Erica Cooper+2 more|arXiv (Cornell University)|Oct 18, 2021

Speech Recognition and Synthesis被引用 10

一句话总结

LDNet 提出了一种统一的听者相关（LD）建模框架，用于合成语音的平均意见得分（MOS）预测，通过语音和听者身份直接预测听者特定的质量得分。它引入了两种推理方法——'所有听者'和'平均听者'——其中后者在多个评分可用时表现出更优的稳定性和效率，尤其在 VCC2018 和一个新构建的大规模数据集上，其在话语级和系统级指标上均优于先前的基线方法如 MBNet。

ABSTRACT

An effective approach to automatically predict the subjective rating for synthetic speech is to train on a listening test dataset with human-annotated scores. Although each speech sample in the dataset is rated by several listeners, most previous works only used the mean score as the training target. In this work, we present LDNet, a unified framework for mean opinion score (MOS) prediction that predicts the listener-wise perceived quality given the input speech and the listener identity. We reflect recent advances in LD modeling, including design choices of the model architecture, and propose two inference methods that provide more stable results and efficient computation. We conduct systematic experiments on the voice conversion challenge (VCC) 2018 benchmark and a newly collected large-scale MOS dataset, providing an in-depth analysis of the proposed framework. Results show that the mean listener inference method is a better way to utilize the mean scores, whose effectiveness is more obvious when having more ratings per sample.

研究动机与目标

• 通过利用所有可用的听者评分而非仅平均分，解决基于深度学习的 MOS 预测中的数据稀缺问题。
• 通过端到端框架联合建模语音和听者身份，统一听者相关建模在 MOS 预测中的应用。
• 通过引入两种新颖的推理策略——'所有听者'和'平均听者'模式——提升预测稳定性和推理效率。
• 通过实证验证听者相关建模的有效性，特别是在每段语音样本评分数量不同的情况下。
• 提供一种灵活且轻量的架构，在基准数据集上优于现有方法如 MBNet。

提出的方法

• LDNet 是一种统一的深度学习框架，通过同时依赖输入语音波形和听者 ID，预测听者级别的 MOS 得分。
• 该模型采用轻量级编码器（如 MobileNetV3）和简单的前馈网络（FFN）解码器，以减少模型大小和训练时间。
• 它支持两种推理模式：'所有听者'推理通过对所有训练听者的预测取平均以提升稳定性；'平均听者'推理则使用一个学习得到的虚拟听者实现快速高效的预测。
• '平均听者'模式被训练以近似评分的算术平均值，从而可直接使用平均分而无需丢弃偏差分量。
• 该框架通过联合损失函数进行训练，以最小化预测得分与实际听者得分之间的均方误差（MSE）。
• 模型架构在效率方面进行了优化，消融实验表明强编码器可使最小但有效的解码器实现良好性能。

Fig. 1 : Illustration of the models described in this work. From lest to right: MOSNet, MBNet, LDNet, LDNet with MeanNet multitask learning (LDNet-MN).

实验结果

研究问题

• RQ1 与仅使用平均分的基线方法（如 MOSNet 和 MBNet）相比，统一的听者相关框架是否能提升 MOS 预测性能？
• RQ2 '所有听者'推理模式是否相比平均网络推理能降低预测方差并提升鲁棒性？
• RQ3 '平均听者'推理模式是否比传统平均网络推理更有效且高效，尤其是在每段语音有多个评分时？
• RQ4 编码器架构的选择（如 MobileNetV2 与 MobileNetV3）如何影响模型性能和训练效率？
• RQ5 使用学习得到的虚拟平均听者（LDNet-ML）的听者相关建模，是否比使用独立平均子网的多任务学习（LDNet-MN）更好地利用平均分？

主要发现

• '所有听者'推理模式显著降低了话语级和系统级的 MSE，相比平均网络推理，证明了其预测稳定性的提升。
• 在 VCC2018 基准测试中，LDNet 采用'平均听者'推理模式，系统级 SRCC 达到 0.881，MSE 为 0.157，优于 MBNet 基线。
• 在新收集的 BVCC 数据集中，LDNet-ML 采用'平均听者'推理模式，系统级 SRCC 达到 0.886，MSE 为 0.169，显示出一致的性能提升。
• 与 MobileNetV2 相比，MobileNetV3 编码器使模型参数量减少 0.25M，训练时间减少 33%，同时保持或提升了性能。
• '平均听者'推理模式优于'平均网络'或'平均偏差'多任务学习（LDNet-MN），后者反而出现性能下降而非提升。
• LDNet-ML 的优势在 BVCC 数据集（每段语音 8 个评分）上比在 VCC2018（每段语音 4 个评分）上更明显，证实更多评分可增强对平均分利用的可靠性。

Fig. 2 : Illustration of the LDNet model architecture with a RNN-based decoder.