[论文解读] Asteroid: the PyTorch-based audio source separation toolkit for researchers

Manuel Pariente, Samuele Cornell+12 more|arXiv (Cornell University)|May 8, 2020

Speech and Audio Processing参考文献 41被引用 51

一句话总结

Asteroid 是一个基于 PyTorch 的开源工具包，用于端到端音频源分离和语音增强，提供编码器-掩膜器-解码器架构、可配置的滤波器组、损失函数、数据集，以及 Kaldi 风格的配方，以促进可重复性研究。

ABSTRACT

This paper describes Asteroid, the PyTorch-based audio source separation toolkit for researchers. Inspired by the most successful neural source separation systems, it provides all neural building blocks required to build such a system. To improve reproducibility, Kaldi-style recipes on common audio source separation datasets are also provided. This paper describes the software architecture of Asteroid and its most important features. By showing experimental results obtained with Asteroid's recipes, we show that our implementations are at least on par with most results reported in reference papers. The toolkit is publicly available at https://github.com/mpariente/asteroid .

研究动机与目标

• 通过提供从数据准备到评估的端到端管道，促进神经音频源分离领域的可重复研究。
• 提供一个灵活的、基于 PyTorch 的框架，具备多种 encoder-masker-decoder 配置和损失函数。
• 提供 Kaldi 风格的配方和一系列数据集，以标准化跨研究的实验。

提出的方法

• 实现可互换的滤波器组、掩膜器和损失函数的 encoder-masker-decoder 架构。
• 支持多种滤波器组（包括基于 STFT 的和可学习的选项）以及与 PyTorch 兼容接口的复数值掩膜。
• 提供置换不变训练（PIT）损失包装器，以处理多说话人置换歧义。
• 提供数据集配方以及遵循 Kaldi 风格工作流的训练/评估管线，用于端到端实验。
• 集成 PyTorch-Lightning 以实现可扩展训练，以及用于标准化评估指标的 pb_bss_eval。

实验结果

研究问题

• RQ1 Asteroid 能否在多个数据集上使用其可配置的配方再现最先进的语音分离结果？
• RQ2 不同的滤波器组、掩膜网络和损失函数如何相互作用以影响单声道混合音的分离性能？
• RQ3 提供端到端的 Kaldi 风格配方在多大程度上提高了音频源分离的可重复性和实验便利性？
• RQ4 在标准数据集上，Asteroid 框架中常见架构（如 TasNet 变体、DPRNN、Open-Unmix）的基线性能如何？
• RQ5 PST（置换不变）损失在 Asteroid 的训练管道中与传统损失相比如何？

主要发现

• Asteroid 的配方在 wsj0-2mix 上实现了 SI-SDRi 的改进，与多种架构的原始报道相当甚至更好。
• 在使用改进的 TasNet 架构的 WHAMR 任务中，Asteroid 的结果在多种条件下优于原始结果，有时高达 2.6 dB SI-SDRi。
• Asteroid 提供了简化的工作流程，可以快速实现和评估模型（例如 TasNet 变体、DPRNN），例如在一天内编写一个 TasNet 配方。
• 该工具包在跨数据集和架构上表现具有竞争力，验证了其作为面向研究的开发与基准平台的有效性。
• Asteroid 强调通过 Kaldi 风格配方、详细的数据准备步骤以及基于配置文件名的实验设置来实现可重复性。