[论文解读] Single-sided Real-time PESQ Score Estimation

Sebastián Basterrech, Gerardo Rubino+1 more|arXiv (Cornell University)|Dec 27, 2012

Advanced Adaptive Filtering Techniques参考文献 6被引用 4

一句话总结

本文提出了一种基于神经网络的实时单端PESQ得分估算方法，该方法利用网络和应用参数进行训练，无需参考信号。该方法在启用PLC的场景下实现了0.221 MOS点的平均绝对误差，在未启用PLC的场景下为0.412 MOS点，从而实现了VoIP系统中低延迟的QoE监控。

ABSTRACT

For several years now, the ITU-T's Perceptual Evaluation of Speech Quality (PESQ) has been the reference for objective speech quality assessment. It is widely deployed in commercial QoE measurement products, and it has been well studied in the literature. While PESQ does provide reasonably good correlation with subjective scores for VoIP applications, the algorithm itself is not usable in a real-time context, since it requires a reference signal, which is usually not available in normal conditions. In this paper we provide an alternative technique for estimating PESQ scores in a single-sided fashion, based on the Pseudo Subjective Quality Assessment (PSQA) technique.

研究动机与目标

• 为原始信号不可用的VoIP应用实现实时、无参考的PESQ得分估算。
• 克服传统PESQ方法的局限性，后者需要参考信号且无法实时运行。
• 采用PSQA框架并将PESQ作为目标函数而非主观MOS评分，从而减少对昂贵主观测试的依赖。
• 开发一种计算效率高、延迟低的方法，适用于资源受限设备（如智能手机）的部署。
• 通过提供准确的单端质量估计，实现实时QoE控制机制。

提出的方法

• 针对是否启用丢包 concealment（PLC）的两种情况，分别训练前馈神经网络（NN），以网络参数（丢包率、平均丢包突发大小）作为输入。
• 使用超过10万个VoIP样本的实际PESQ得分作为训练NN的真值目标。
• 仅基于网络和应用层参数，实时应用训练好的NN来预测PESQ得分，无需原始信号。
• 采用先前研究中基于中位数的估计方法作为基线，以验证NN的性能。
• 使用未见过的数据点，通过均方误差（MSE）、均方根误差（RMSE）和平均绝对误差（MAE）评估模型性能。
• 为PLC=0和PLC=1的情况分别使用独立模型$f_0$和$f_1$，以考虑丢包掩盖对感知质量的影响。

实验结果

研究问题

• RQ1 在无法访问原始参考信号的情况下，能否以单端方式实时准确估算PESQ得分？
• RQ2 与实际PESQ评估相比，基于网络和应用参数训练的神经网络在预测PESQ得分方面的表现如何？
• RQ3 包含丢包掩盖（PLC）状态是否能提高PESQ估算的准确性？
• RQ4 在不同网络条件下，所提出的单端PESQ估算方法可实现的误差率（MSE、MAE）是多少？
• RQ5 该方法能否在资源受限设备上高效实现实时部署，以支持QoE监控与控制？

主要发现

• 对于未启用丢包掩盖（PLC=0）的情况，所提方法实现了0.412 MOS点的平均绝对误差（MAE），表明其具有高精度。
• 对于启用丢包掩盖（PLC=1）的情况，MAE降低至0.221 MOS点，显示出更高的估算精度。
• 均方根误差（RMSE）为PLC=0时为0.486，PLC=1时为0.276，证实了预测误差的一致性与低水平。
• 该方法支持实时PESQ估算，适用于移动设备及实时QoE控制系统的部署。
• 该模型在不同网络条件下具有良好的泛化能力，尤其在具有中等损伤的正常运行条件下表现优异。
• 结果表明，将PESQ作为PSQA中的目标函数，可提供一种低成本、高精度且高效的替代参考信号PESQ的方法。