[论文解读] Building Corpora for Single-Channel Speech Separation Across Multiple Domains

Matthew Maciejewski, Gregory Sell+3 more|arXiv (Cornell University)|Nov 6, 2018

Speech and Audio Processing参考文献 12被引用 6

一句话总结

本文提出了一套框架，用于在多样化领域内创建高质量的合成单通道语音分离数据集，涵盖从干净近场条件（WSJ0）到真实远场对话环境（CHiME-5 和 Mixer 6）的多种场景。通过采用包含单说话人分割、话语配对及排列不变训练（uPIT）的系统化流程，作者证明了在多样化、多领域数据上训练的模型，其泛化能力显著优于仅在单一领域数据上训练的模型；尽管在孤立场景中增益有限，但联合训练在所有条件下均表现出稳健的性能。

ABSTRACT

To date, the bulk of research on single-channel speech separation has been conducted using clean, near-field, read speech, which is not representative of many modern applications. In this work, we develop a procedure for constructing high-quality synthetic overlap datasets, necessary for most deep learning-based separation frameworks. We produced datasets that are more representative of realistic applications using the CHiME-5 and Mixer 6 corpora and evaluate standard methods on this data to demonstrate the shortcomings of current source-separation performance. We also demonstrate the value of a wide variety of data in training robust models that generalize well to multiple conditions.

研究动机与目标

• 为解决单通道语音分离在远场和对话场景下缺乏真实评估数据的问题。
• 开发一种可复现的、高质量的流程，从现有语料库生成合成重叠语音数据集。
• 评估标准语音分离模型在多样化声学条件下的泛化性能。
• 证明在多样化、多领域数据上训练可显著提升模型鲁棒性与跨条件泛化能力。

提出的方法

• 使用 Kaldi 工具包对 CHiME-5 和 Mixer 6 语料库进行初始单说话人分割与语音活动检测。
• 实施一种系统化的语句配对策略，生成高质量、无重叠的语音混合，且说话人分布均衡。
• 在幅度谱图上应用排列不变训练（uPIT），采用两层双向 LSTM 网络与均方误差损失函数。
• 使用 Adam 优化器，以固定学习率 0.001 训练 200 个周期，并根据验证损失选择最佳模型。
• 生成多个训练集，包括说话人数量均衡的版本以及扩展至 100,000 个混合样本的版本，以评估数据多样性的影响。
• 使用信号失真比（SDR）作为评估指标，这是语音分离任务的标准度量指标。

实验结果

研究问题

• RQ1 当从干净近场条件转移到真实远场对话环境时，语音分离模型的性能会如何退化？
• RQ2 在单一领域（如 WSJ0）上训练的模型，能在多大程度上泛化到更具现实感的多人远场场景？
• RQ3 通过在不同领域（如 WSJ0、Mixer 6、CHiME-5）间增加训练数据多样性，是否能提升模型的鲁棒性与泛化能力？
• RQ4 在训练语音分离模型时，数据量与数据多样性相比，哪个影响更大？
• RQ5 能否通过在多个领域组合数据上训练单一模型，实现在所有测试条件下的优异性能？

主要发现

• 在 WSJ0 数据上训练的模型在干净近场 WSJ0 测试条件下取得了最高的 SDR，但在远场和对话场景中性能显著下降。
• 在单一领域上训练的模型泛化能力差：近场模型在远场场景中表现不佳，而远场模型在近场条件下表现欠佳。
• 在近场数据上训练的 Mixer 6 模型在 CHiME-5 近场测试集上的表现优于在 CHiME-5 近场数据上训练的模型，表明音频质量可能影响模型性能。
• 在 Mixer 6 中使用均衡说话人数量的训练集导致性能出现轻微但明显的下降，表明数据量可能比说话人平衡更为关键。
• 在多个领域联合训练的数据上训练的模型在所有测试条件下均达到接近最优的性能，证明数据多样性可增强模型鲁棒性。
• 扩展至 100,000 个混合样本的 Mixer 6 训练集显示出适度改进，主要体现在匹配条件下，且在远场设置中受益更明显。