[論文レビュー] CatNet: music source separation system with mix-audio augmentation

Xuchen Song, Qiuqiang Kong+2 more|arXiv (Cornell University)|Feb 19, 2021

Speech and Audio Processing参考文献 25被引用数 9

ひとこと要約

この論文では、スペクトログラムベースのUNetブランチと時間領域のWavUNetブランチを連結することで、補完的な表現を活用する、エンドツーエンドで完全に微分可能な音楽ソース分離システムであるCatNetを提案する。また、同じソースからのセグメントを組み合わせる新しいミックスオーディオデータ拡張技術を導入し、MUSDB18データセット上でボーカル分離のSDRが7.54 dBに達し、先行手法（MMDenseNet：6.57 dB）を上回る最先端の性能を達成した。

ABSTRACT

Music source separation (MSS) is the task of separating a music piece into individual sources, such as vocals and accompaniment. Recently, neural network based methods have been applied to address the MSS problem, and can be categorized into spectrogram and time-domain based methods. However, there is a lack of research of using complementary information of spectrogram and time-domain inputs for MSS. In this article, we propose a CatNet framework that concatenates a UNet separation branch using spectrogram as input and a WavUNet separation branch using time-domain waveform as input for MSS. We propose an end-to-end and fully differentiable system that incorporate spectrogram calculation into CatNet. In addition, we propose a novel mix-audio data augmentation method that randomly mix audio segments from the same source as augmented audio segments for training. Our proposed CatNet MSS system achieves a state-of-the-art vocals separation source distortion ratio (SDR) of 7.54 dB, outperforming MMDenseNet of 6.57 dB evaluated on the MUSDB18 dataset.

研究の動機と目的

• 既存の音楽ソース分離（MSS）システムがスペクトログラムまたは時間領域表現に依存するという限界を解消し、両モダリティを統合すること。
• スペクトログラム計算をネットワーク内に組み込み、共同最適化を可能にするエンドツーエンドで完全に微分可能なフレームワークの構築。
• 新しいミックスオーディオデータ拡張戦略を導入することで、限定的な学習データ下でも一般化性能と性能を向上させること。
• MUSDB18ベンチマークデータセット上でボーカルソース分離の最先端の性能を達成すること。

提案手法

• CatNetは、スペクトログラムを処理するUNetブランチと、生波形を処理するWavUNetブランチを組み合わせ、その出力を時間領域で合算して分離音源を生成する。
• スペクトログラム計算（STFTおよびISTFT）は微分可能であり、ネットワーク内に学習可能な行列乗算として埋め込まれ、エンドツーエンド学習を可能にしている。
• 最適化には、予測波形とターゲット波形の時間領域における平均絶対誤差（MAE）損失が用いられている。
• 新しいミックスオーディオデータ拡張戦略として、同じソース（例：ボーカルとボーカル）からのセグメントをランダムに混合して、拡張された学習サンプルを作成している。
• 同じソースカテゴリ内のセグメントをランダムに混合することで、ソースのアイデンティティを保持しつつ、データの多様性を向上させている。
• 最適化にはAdamオプティマイザを用い、バッチサイズは12、基本学習率は0.001としている。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラムベースと時間領域ベースのニューラルネットワークを組み合わせることで、単独で使用する場合と比較して音楽ソース分離性能が向上するか？
• RQ2 エンドツーエンド学習フレームワークに微分可能なSTFT/ISTFT操作を統合することで、分離品質が向上するか？
• RQ3 同じソースからのセグメントを混合する新しいミックスオーディオデータ拡張戦略は、モデルの一般化性能と性能を向上させるか？
• RQ4 提案されたCatNetシステムにミックスオーディオ拡張を適用した場合、MUSDB18ベンチマーク上で最先端の手法と比較してどの程度の性能向上が得られるか？

主な発見

• ミックスオーディオデータ拡張を適用したCatNetは、MUSDB18データセット上でボーカルソース分離のSDRが7.54 dBに達し、MMDenseNet（6.57 dB）を上回る最先端の性能を達成した。
• スペクトログラムベースのUNetブランチ単体ではボーカルSDRが7.04 dB、時間領域のWavUNetブランチでは5.57 dBにとどまることから、本設定ではスペクトログラムベースの学習が優れていることが示された。
• ミックスオーディオデータ拡張は、WavUNetベースラインを5.57 dBから6.08 dBに向上させ、時間領域モデルに対しても有効であることが実証された。
• 同じ拡張戦略を用いて学習したCatNetシステムはボーカルSDRで7.17 dBを達成し、完全なCatNet統合では7.54 dBに到達し、相乗効果が得られた。
• 他の楽器に対しても優れた性能を示しており、ドラムで5.85 dB、ベースで5.01 dB、その他の楽器で4.67 dBのSDRを達成した。
• アコーディオンのSDRは15.18 dBに達し、非ボーカル成分の高品質な分離が可能であることが示され、音楽制作応用において極めて重要である。