[论文解读] A scalable noisy speech dataset and online subjective test framework

Chandan K. Reddy, Ebrahim Beyrami+4 more|arXiv (Cornell University)|Sep 17, 2019

Speech and Audio Processing参考文献 11被引用 16

一句话总结

本文提出了MS-SNSD，一个可扩展的嘈杂语音数据集以及一种用于评估语音增强算法的在线众包主观测试框架。通过实现大规模主观MOS评估，作者证明了增加数据集规模可提升噪声抑制性能，并表明尽管存在PESQ和POLQA等客观指标，主观MOS依然至关重要。

ABSTRACT

Background noise is a major source of quality impairments in Voice over Internet Protocol (VoIP) and Public Switched Telephone Network (PSTN) calls. Recent work shows the efficacy of deep learning for noise suppression, but the datasets have been relatively small compared to those used in other domains (e.g., ImageNet) and the associated evaluations have been more focused. In order to better facilitate deep learning research in Speech Enhancement, we present a noisy speech dataset (MS-SNSD) that can scale to arbitrary sizes depending on the number of speakers, noise types, and Speech to Noise Ratio (SNR) levels desired. We show that increasing dataset sizes increases noise suppression performance as expected. In addition, we provide an open-source evaluation methodology to evaluate the results subjectively at scale using crowdsourcing, with a reference algorithm to normalize the results. To demonstrate the dataset and evaluation framework we apply it to several noise suppressors and compare the subjective Mean Opinion Score (MOS) with objective quality measures such as SNR, PESQ, POLQA, and VISQOL and show why MOS is still required. Our subjective MOS evaluation is the first large scale evaluation of Speech Enhancement algorithms that we are aware of.

研究动机与目标

• 解决语音增强深度学习中缺乏大规模、多样化的嘈杂语音数据集的问题。
• 克服现有主观评估方法的局限性，这些方法耗时且不可扩展。
• 开发一种可复现、开源的框架，用于大规模、众包方式的语音增强算法主观测试。
• 通过与SNR、PESQ、POLQA和VISQOL等客观指标的对比，证明主观MOS的重要性。
• 实现标准化、归一化的语音增强模型评估，涵盖不同类型的噪声、信噪比（SNR）水平和说话人群体。

提出的方法

• 设计一个模块化、可扩展的数据集生成流水线，支持说话人、噪声类型和SNR水平的任意组合。
• 采用合成数据生成方法，创建一个大规模、多样化且可扩展的嘈杂语音数据集（MS-SNSD），适用于训练和评估。
• 利用Amazon Mechanical Turk实现在线、众包的主观测试框架，以大规模收集MOS评分。
• 引入基于参考算法的归一化技术，对不同评分者和会话之间的主观评分进行校准。
• 将客观质量指标（SNR、PESQ、POLQA、VISQOL）与主观MOS结合，用于对比分析。
• 通过开源许可发布数据集和评估框架，确保可复现性和开放获取。

实验结果

研究问题

• RQ1 增大嘈杂语音数据集的规模对基于深度学习的噪声抑制模型性能有何影响？
• RQ2 可扩展的众包框架能否可靠地生成一致且有效的语音增强主观MOS评分？
• RQ3 在真实嘈杂环境下，客观语音质量指标（如PESQ、POLQA、VISQOL）与主观MOS的相关性如何？
• RQ4 现有客观指标在多大程度上未能捕捉到主观听音测试中明显体现的感知质量提升？
• RQ5 标准化的开源评估框架在多大程度上能提升语音增强研究的可复现性和公平性？

主要发现

• MS-SNSD数据集规模的增加可带来可测量的噪声抑制性能提升，证实了深度学习中数据规模的优势。
• 所提出的在线主观测试框架能够实现大规模、可靠的MOS收集，并在多个评分者和条件下保持一致的结果。
• 主观MOS仍是必要的评估指标，因为它捕捉到了客观指标（如PESQ或SNR）未能完全反映的感知质量提升。
• 客观指标与MOS之间的相关性至多为中等，凸显了仅依赖自动化测量的局限性。
• 该框架通过使用参考算法成功对主观评分进行了归一化，实现了不同模型和测试条件之间的公平比较。
• 本工作首次通过众包方式实现了大规模、开放且可复现的语音增强算法主观评估。