[论文解读] LibriMix: An Open-Source Dataset for Generalizable Speech Separation

Joris Cosentino, Manuel Pariente+3 more|arXiv (Cornell University)|May 22, 2020

Speech and Audio Processing参考文献 31被引用 183

一句话总结

LibriMix 提供开源的两讲者和三讲者混合（有噪声和无噪声）来自 LibriSpeech，以提高语音分离的泛化能力，包括跨数据集评估和稀疏重叠的测试集。

ABSTRACT

In recent years, wsj0-2mix has become the reference dataset for single-channel speech separation. Most deep learning-based speech separation models today are benchmarked on it. However, recent studies have shown important performance drops when models trained on wsj0-2mix are evaluated on other, similar datasets. To address this generalization issue, we created LibriMix, an open-source alternative to wsj0-2mix, and to its noisy extension, WHAM!. Based on LibriSpeech, LibriMix consists of two- or three-speaker mixtures combined with ambient noise samples from WHAM!. Using Conv-TasNet, we achieve competitive performance on all LibriMix versions. In order to fairly evaluate across datasets, we introduce a third test set based on VCTK for speech and WHAM! for noise. Our experiments show that the generalization error is smaller for models trained with LibriMix than with WHAM!, in both clean and noisy conditions. Aiming towards evaluation in more realistic, conversation-like scenarios, we also release a sparsely overlapping version of LibriMix's test set.

研究动机与目标

• 通过提供更丰富的开源数据集来解决在 WSJ0-2mix 上训练的模型的泛化差距。
• 创建 LibriMix（干净和嘈杂、两讲者和三讲者混合）来自 LibriSpeech，带有 WHAM! 噪声用于现实评估。
• 启用公平的跨数据集评估，新增基于 VCTK 的测试集和稀疏重叠的测试集以模拟真实世界对话。
• 提供开源的生成脚本，并使用 Conv-TasNet 展示泛化提升。

提出的方法

• 从 LibriSpeech 和 WHAM! 噪声构建 LibriMix 数据集，在干净和嘈杂条件下生成两讲者和三讲者混合。
• 使用基于 LUFS 的响度归一化来对混合进行缩放，而不是简单的信号功率的 SNR。
• 随机混合来自多个说话人的 utterance，以生成训练、开发和测试集，训练集具有更广的说话人基础。
• 在 LibriMix 上评估 Conv-TasNet（通过 Asteroid 实现），并在不同采样率和模式（min/max）下与理想掩码（IRM/IBM）进行比较。
• 引入 SparseLibriMix 变体，覆盖不同的重叠度（0–100%），研究稀疏重叠混合的性能。

实验结果

研究问题

• RQ1 LibriMix 是否比 WHAM! 和 wsj0-2mix 更好地提高深度语音分离模型在其他数据集（如 VCTK-2mix）上的泛化能力？
• RQ2 在 LibriMix 与 WHAM! 的训练下，干净条件与嘈杂条件对泛化有何影响？
• RQ3 混合重叠度和稀疏性对两讲者和三讲者分离性能有何影响？
• RQ4 LibriMix 是否能够实现可靠的跨数据集评估并支持三讲者嘈杂分离？

主要发现

• Conv-TasNet 在 LibriMix 上实现了有竞争力的 SI-SDR 提升，在若干干净/嘈杂的两讲者情形中超过或匹配理想掩码。
• 在 VCTK-2mix 上，使用 LibriMix 训练的模型比使用 WHAM! 训练的模型在跨数据集泛化上表现更好，表明跨数据集泛化能力提升。
• LibriMix 需要比 train-100 更多的数据（train-360）以获得更好的泛化，强调数据量是关键因素。
• 三讲者混合仍然具有挑战性，在许多情况下，oracle（IRM/IBM）仍然优于 Conv-TasNet，尤其在嘈杂环境中。
• SparseLibriMix 的结果显示更高的重叠度会降低 SI-SDRi，并且在低重叠区间 Conv-TasNet 可能被 IRM 超越，表明在稀疏重叠场景还有改进空间。
• Libri3Mix 是首个开源数据集，使三讲者嘈杂分离成为可能，拓展了对两讲者以外的评估。