[論文レビュー] Decoupling Magnitude and Phase Estimation with Deep ResUNet for Music Source Separation

Qiuqiang Kong, Yin Cao+3 more|arXiv (Cornell University)|Sep 12, 2021

Speech and Audio Processing被引用数 38

ひとこと要約

本論文は複素数の理想的比マスク（cIRM）において振幅と位相をデカップリングし、直接的な振幅予測と組み合わせることでマスクの振幅を無限大に近づけられるようにし、MUSDB18での音楽信源分離において最先端を達成する143層の residual UNet（ResUNet）を導入します。特にボーカルの SDR は 8.98 dB。

ABSTRACT

Deep neural network based methods have been successfully applied to music source separation. They typically learn a mapping from a mixture spectrogram to a set of source spectrograms, all with magnitudes only. This approach has several limitations: 1) its incorrect phase reconstruction degrades the performance, 2) it limits the magnitude of masks between 0 and 1 while we observe that 22% of time-frequency bins have ideal ratio mask values of over~1 in a popular dataset, MUSDB18, 3) its potential on very deep architectures is under-explored. Our proposed system is designed to overcome these. First, we propose to estimate phases by estimating complex ideal ratio masks (cIRMs) where we decouple the estimation of cIRMs into magnitude and phase estimations. Second, we extend the separation method to effectively allow the magnitude of the mask to be larger than 1. Finally, we propose a residual UNet architecture with up to 143 layers. Our proposed system achieves a state-of-the-art MSS result on the MUSDB18 dataset, especially, a SDR of 8.98~dB on vocals, outperforming the previous best performance of 7.24~dB. The source code is available at: https://github.com/bytedance/music_source_separation

研究の動機と目的

• 振幅推定の限界と位相推定の制約に対処してMSSの改善を促進する。
• 複素マスク（cIRM）に対して振幅と位相のデカップル推定を提案する。
• 有界マスクと直接的な振幅予測を組み合わせて、マスク振幅を1を超える値に可能にする。
• MSS性能を高めるための非常に深い残差UNet（143層）を導入する。
• 特にボーカルでMUSDB18における最先端の結果を示す。

提案手法

• 境界付きの振幅マスクを予測し、実部/虚部の成分を加えることで、cIRM推定の振幅と位相をデカップルし、マスク位相のcosとsinを導出する。
• M_mag、cos(angle M)、sin(angle M)、およびXからcIRMを計算し、S = M Xによる振幅スケーリングと位相回転でSを復元する。
• 有界マスクと直接的な振幅予測項を組み合わせて、源の振幅を|S| = ReLU(M_mag ⊙ |X| + Q)として推定する。
• 共通のバックボーンを介して4つの出力を予測する：M_mag、Q、P_r、P_i；適切な活性化を適用し、分離のために複素マスクM = M_r + j M_iを構築する。
• MSSのための深いアーキテクチャを可能にするため、残差エンコーダブロック、残差デコーダブロック、および中間の畳み込みブロックを備えた143層の残差UNet（ResUNet）を開発する。

実験結果

リサーチクエスチョン

• RQ1 複素マスクベースのMSSにおいて、振幅と位相をデカップリングすることは伝統的な振幅ベースの手法と比べて改善をもたらすか。
• RQ2 マスク振幅を1より大きく許容することは、MSSの性能と理論上の上限にどのような影響を与えるか。
• RQ3 非常に深い残差UNetは、浅いアーキテクチャよりも実質的な向上をMSSにもたらすか。
• RQ4 有界マスク推定と直接的な振幅予測の組み合わせは、どちらか単独のアプローチより良いSDRをもたらすか。
• RQ5 これらの手法を適用した場合、MUSDB18におけるボーカルと楽器源全体でどの程度の性能向上が得られるか。

主な発見

ボーカル	ベース	ドラム	その他	伴奏
6.32	5.23	5.73	4.02	-
3.25	3.21	4.22	2.25	-
6.29	5.83	6.08	4.12	-
6.81	5.66	6.08	4.37	-
6.86	5.51	6.71	4.55	-
7.24	5.25	7.01	4.53	13.52
8.98	6.04	6.62	5.29	16.63

• 提案されたデカップルドcIRM推定は、位相なし/振幅のみの手法より性能を改善し、ボーカルの SDR を向上させる。
• 1を超える振幅を持つ無限大マスクの許容（1より大きい振幅を含むcIRM）により、理論上の上限が高まり、SDRの実践的な向上を生む。
• 有界マスクと直接的な振幅予測項を組み合わせることで、どちらか単独のメカニズムよりMSS性能が向上する。
• 143層の残差UNet（ResUNet）は浅いUNetを大幅に上回り、深いアーキテクチャがMSSに有利であることを裏付ける。
• MUSDB18で、最終のResUNetDecouple+システムはボーカルで8.98 dB SDRを達成し、以前のベスト（7.24 dB）や他のベースラインを上回る。その他の源も改善を示す（例：ベース6.04 dB、ドラム6.62 dB、その他5.29 dB、伴奏16.63 dB）。