[論文レビュー] Hybrid Transformers for Music Source Separation

Simon Rouard, Francisco Massa+1 more|arXiv (Cornell University)|Nov 15, 2022

Speech and Audio Processing被引用数 5

ひとこと要約

本稿では、時間領域および周波数領域における自己注意およびクロス注意メカニズムを用いて、Hybrid Demucsの内部畳み込み層を置き換える、クロスドメイン型Transformerベースのアーキテクチャ、Hybrid Transformer Demucs (HT Demucs) を提案する。800首の追加学習音源、スパース注意カーネル、およびソースごとのファインチューニングを活用することで、MUSDB18 HQで9.20 dBの新たなSOTA（SOTA）SDRを達成し、先行手法を最大0.45 dB上回った。

ABSTRACT

A natural question arising in Music Source Separation (MSS) is whether long range contextual information is useful, or whether local acoustic features are sufficient. In other fields, attention based Transformers have shown their ability to integrate information over long sequences. In this work, we introduce Hybrid Transformer Demucs (HT Demucs), an hybrid temporal/spectral bi-U-Net based on Hybrid Demucs, where the innermost layers are replaced by a cross-domain Transformer Encoder, using self-attention within one domain, and cross-attention across domains. While it performs poorly when trained only on MUSDB, we show that it outperforms Hybrid Demucs (trained on the same data) by 0.45 dB of SDR when using 800 extra training songs. Using sparse attention kernels to extend its receptive field, and per source fine-tuning, we achieve state-of-the-art results on MUSDB with extra training data, with 9.20 dB of SDR.

研究の動機と目的

• Transformerによる長距離の文脈的情報が、局所的な音響特徴を上回る音楽ソース分離性能をもたらすかどうかを調査すること。
• MSSにおけるバイU-Netアーキテクチャにおける、ハイブリッド時間的・周波数的注意メカニズムの有効性を評価すること。
• 音楽ソース分離の典型的な低データ環境において、効果的なTransformerベースのモデルを訓練するために必要なデータおよびアーキテクチャ的要件を特定すること。
• スパース注意とファインチューニングが受容 field を拡張し、性能を向上させる影響を調査すること。

提案手法

• Hybrid Demucsの内部畳み込み層を、時間領域および周波数領域内で自己注意を適用し、両領域間でクロス注意を実行するクロスドメイン型Transformerエンコーダーに置き換える。
• エンコーダー・デコーダーのパスを共有するバイU-Netアーキテクチャを採用し、ボトルネック部にTransformerエンコーダーを統合する。
• 局所的感度ハッシュ（LSH）を用いたスパース注意を適用し、OOMエラーを回避しながら受容 field を12.2秒まで拡張する。
• MUSDB18の87首と社内コレクションから得た800首の追加音源を組み合わせたデータセットで学習する。
• リミックスやリピッチングを含むデータ拡張技術を適用し、ロバスト性と一般化性能を向上させる。
• 勾配クリッピングと重み減衰を用いたソースごとのファインチューニングを適用し、さらに性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Transformerによる長距離注意を組み込むことで、局所的畳み込みモデルに比べて音楽ソース分離性能が向上するか？
• RQ2 MUSDB18の小さなサイズを考慮すると、TransformerベースのMSSモデルを効果的に学習するのにどの程度の追加学習データが必要か？
• RQ3 スパース注意メカニズムにより、メモリオーバーフローを回避しながら長時間の音声コンテキスト（例：12.2秒）を効果的にモデル化できるか？
• RQ4 データ拡張とソースごとのファインチューニングが、低データ環境での性能向上にどの程度寄与するか？
• RQ5 深さ、次元、コンテキスト長といったアーキテクチャ的選択が、モデル性能および学習安定性に与える影響はいかほどか？

主な発見

• 同じ87首のMUSDB18音源で学習した場合、HT Demucsは元のHybrid DemucsよりSDRで0.45 dB優れている。これは、Transformerモデリングの利点を示している。
• 800首の追加音源を用いることで、HT Demucsは8.80 dBのSDRを達成し、ベースラインより0.46 dB向上した。
• 12.2秒までコンテキストを拡張するスパース注意カーネルを適用することで、SDRに0.14 dBの追加向上が得られ、最終的に8.94 dBに到達した。
• ソースごとのファインチューニングによりSDRが0.25 dB向上し、MUSDB18 HQテストセットで最終的なSDRは9.20 dBに達した。
• リミックスによるデータ拡張技術が最も大きな影響を示し、無効化するとSDRが0.7 dB低下した。
• 単一のCPUコア上でリアルタイム要因2.04を達成しており、計算量が増加しても実行速度が実用的であることが示された。