[论文解读] Conditioned-U-Net: Introducing a Control Mechanism in the U-Net for Multiple Source Separations

Gabriel Meseguer-Brocal, Geoffroy Peeters|arXiv (Cornell University)|Jul 2, 2019

Speech and Audio Processing参考文献 19被引用 36

一句话总结

论文提出 Conditioned-U-Net (C-U-Net)，在单个 U-Net 上通过 FiLM 基于条件的调控来实现多乐器源分离，并由一个 one-hot 乐器向量引导。

ABSTRACT

Data-driven models for audio source separation such as U-Net or Wave-U-Net are usually models dedicated to and specifically trained for a single task, e.g. a particular instrument isolation. Training them for various tasks at once commonly results in worse performances than training them for a single specialized task. In this work, we introduce the Conditioned-U-Net (C-U-Net) which adds a control mechanism to the standard U-Net. The control mechanism allows us to train a unique and generic U-Net to perform the separation of various instruments. The C-U-Net decides the instrument to isolate according to a one-hot-encoding input vector. The input vector is embedded to obtain the parameters that control Feature-wise Linear Modulation (FiLM) layers. FiLM layers modify the U-Net feature maps in order to separate the desired instrument via affine transformations. The C-U-Net performs different instrument separations, all with a single model achieving the same performances as the dedicated ones at a lower cost.

研究动机与目标

• 促使多任务音乐源分离，而无需为每个乐器训练单独模型。
• 引入一种条件化机制，使通用 U-Net 能适配以隔离选定乐器。
• 提出基于 FiLM 的条件化（简单与复杂变体）以及轻量级条件生成器。
• 展示在 MUSDB18 上参数效率高且性能与专用模型竞争。

提出的方法

• 将 FiLM 层引入 U-Net 编码器，以基于外部数据对特征图进行条件化。
• 使用 one-hot 乐器向量 z 通过输出 gamma 和 beta 参数的条件生成器来引导条件化。
• 比较 FiLM simple（在所有特征图之间共享 gamma/beta）与 FiLM complex（每个特征图的 gamma/beta）。
• 探索两种条件生成器的嵌入策略：全连接（FC）与基于 CNN 的嵌入。
• 在 MUSDB18 数据集上对条件网络和条件生成器进行联合训练，采用渐进式训练。
• 使用幅度谱掩码重构分离源，并计算 SIR、SAR 和 SDR。

Figure 1 : [Left part] Traditional approach: a dedicated U-Net is trained to separate a specific source. [Right part] Our proposition based on conditioning learning. The problem is divided in two: a standard U-Net (which provides generic source separation filters) and a control mechanism. This divis

实验结果

研究问题

• RQ1 单一条件化 U-Net 能否在 MUSDB18 上达到 vocals、drums、bass 和 rest 四个专用 U-Net 的性能？
• RQ2 使用 FiLM simple 与 FiLM complex 层对多乐器分离性能的影响如何？
• RQ3 渐进式训练是否提升多任务 C-U-Net 的性能？
• RQ4 随着乐器数量增加，C-U-Net 的参数量和可扩展性与专用模型相比如何？

主要发现

• C-U-Net 在各乐器上实现了与专用 Fix-U-Nets 相当的性能，FiLM simple 层与 complex 层性能相当。
• 渐进式训练提升性能，特别是在 FiLM simple 配置中。
• C-U-Nets 的参数数量固定，不随乐器数量变化，相比独立模型提供了显著的参数效率。
• C-U-Net 与专用模型之间的皮尔逊相关系数始终很高（全局相关 > 0.9，p < 0.001），表明在任务和指标上具有相似的行为。
• 在 vocals、drums 和 bass 的分离中，C-U-Net-CoF 变体的结果与固定专用模型相当；Rest 的结果波动更大，反映更广泛的乐器组合。

Figure 2 : [Top part] FiLM simple layer applies the same affine transformation to all the input feature maps $x$ . [Bottom part] In the FiLM complex layer, independent affine transformations are applied to each feature map $c$ .