[论文解读] Hybrid Transformers for Music Source Separation

Simon Rouard, Francisco Massa+1 more|arXiv (Cornell University)|Nov 15, 2022

Speech and Audio Processing被引用 5

一句话总结

该论文提出了一种基于混合Transformer的架构——混合Transformer德穆克斯（HT Demucs），通过在混合德穆克斯的最内层卷积层中引入时间域和频谱域上的自注意力与交叉注意力机制，实现了跨域注意力建模。通过使用额外的800首训练歌曲、稀疏注意力核以及针对各声源的微调策略，该方法在MUSDB18 HQ数据集上取得了9.20 dB的新SOTA SDR指标，相比之前的方法最高提升0.45 dB。

ABSTRACT

A natural question arising in Music Source Separation (MSS) is whether long range contextual information is useful, or whether local acoustic features are sufficient. In other fields, attention based Transformers have shown their ability to integrate information over long sequences. In this work, we introduce Hybrid Transformer Demucs (HT Demucs), an hybrid temporal/spectral bi-U-Net based on Hybrid Demucs, where the innermost layers are replaced by a cross-domain Transformer Encoder, using self-attention within one domain, and cross-attention across domains. While it performs poorly when trained only on MUSDB, we show that it outperforms Hybrid Demucs (trained on the same data) by 0.45 dB of SDR when using 800 extra training songs. Using sparse attention kernels to extend its receptive field, and per source fine-tuning, we achieve state-of-the-art results on MUSDB with extra training data, with 9.20 dB of SDR.

研究动机与目标

• 探究Transformer模型所捕捉的长程上下文信息是否能够超越局部声学特征，提升音乐声源分离性能。
• 评估在双U-Net架构中，时间-频谱联合注意力机制的有效性。
• 确定在典型音乐声源分离任务中数据量较小的低数据环境下，训练高效Transformer基模型所需的数据与架构条件。
• 探索稀疏注意力机制与微调策略对扩展感受野及提升性能的影响。

提出的方法

• 用一个跨域Transformer编码器替代原始混合德穆克斯模型中最内层的卷积层，该编码器在时间域和频谱域内分别执行自注意力，并在两者之间执行交叉注意力。
• 采用具有共享编码器-解码器路径的双U-Net架构，并在瓶颈层集成Transformer编码器。
• 使用基于局部敏感哈希（Locally Sensitive Hashing）的稀疏注意力机制，将感受场扩展至12.2秒，同时避免显存溢出（OOM）错误。
• 在包含87首MUSDB18歌曲和来自内部数据集的800首额外歌曲的联合数据集上进行训练。
• 应用数据增强技术，包括混音重构与音高调整，以提升模型鲁棒性与泛化能力。
• 通过梯度裁剪与权重衰减实施各声源独立微调，进一步提升性能。

实验结果

研究问题

• RQ1 与局部卷积模型相比，通过Transformer引入长程注意力是否能有效提升音乐声源分离性能？
• RQ2 在MUSDB18数据集规模较小的前提下，训练一个有效的Transformer基MSS模型需要多少额外训练数据？
• RQ3 稀疏注意力机制是否能够有效建模更长的音频上下文（如12.2秒）而不会引发内存溢出？
• RQ4 在低数据设置下，数据增强与各声源微调策略在多大程度上提升了模型性能？
• RQ5 架构选择（如深度、隐藏维度、上下文长度）如何影响模型性能与训练稳定性？

主要发现

• 在仅使用87首MUSDB18歌曲进行训练时，HT Demucs相比原始混合德穆克斯模型在SDR上提升了0.45 dB，验证了Transformer建模的优势。
• 在增加800首额外训练歌曲后，HT Demucs达到8.80 dB的SDR，较基线模型提升0.46 dB。
• 通过稀疏注意力核将上下文扩展至12.2秒，SDR额外提升0.14 dB，达到8.94 dB。
• 通过各声源微调，SDR进一步提升0.25 dB，最终在MUSDB18 HQ测试集上达到9.20 dB的SDR。
• 混音数据增强技术的影响最大，若禁用该方法，SDR将下降0.7 dB。
• 模型在单核CPU上实现了2.04倍的实时因子，表明尽管模型复杂度增加，但推理速度仍具可行性。