[論文レビュー] Multi-Source Diffusion Models for Simultaneous Music Generation and Separation

Giorgio Mariani, Irene Tallini+4 more|arXiv (Cornell University)|Feb 4, 2023

Music and Audio Processing被引用数 9

ひとこと要約

拡散ベースのモデル（MSDM）は、複数の音楽ソースの結合分布を学習し、一つのフレームワーク内で総生成、部分生成（ソース補完）、およびソース分離を可能にする。 posterior samplingのための Dirac 尤度を用いる。

ABSTRACT

In this work, we define a diffusion-based generative model capable of both music synthesis and source separation by learning the score of the joint probability density of sources sharing a context. Alongside the classic total inference tasks (i.e., generating a mixture, separating the sources), we also introduce and experiment on the partial generation task of source imputation, where we generate a subset of the sources given the others (e.g., play a piano track that goes well with the drums). Additionally, we introduce a novel inference method for the separation task based on Dirac likelihood functions. We train our model on Slakh2100, a standard dataset for musical source separation, provide qualitative results in the generation settings, and showcase competitive quantitative results in the source separation setting. Our method is the first example of a single model that can handle both generation and separation tasks, thus representing a step toward general audio models.

研究の動機と目的

• Contextual sources (stems) の joint prior p(x1,...,xN) を学習して生成と分離を橋渡しする
• 単一モデルで総生成、部分生成（ソース補完）、分離を実現する
• 分離の改善のための Dirac-likelihood-based posterior を導入する
• Slakh2100 における競争力のある分離結果を示しつつ生成タスクを可能にする
• 弱教師あり設定への拡張と一般的なオーディオモデルに対する実務的影響を議論する

提案手法

• デノイジング・スコアマッチング拡散フレームワークを用いて stems の prior p(x1,...,xN) を学習する
• x(t) をガウス核で撹乱されたコンテキスト・セットとして表現し、∇x(t)log p(x(t)) を近似するスコアネットワーク Sθ(x(t),σ(t)) を訓練する
• 訓練済みスコアネットワークを用いて backward ODE dx(t)=σ(t)∇x(t)log p(x(t))dt を解くことでタスクを推論する
• 分離の事後スコアを導くため、Dirac delta 基づきの新規の尤度 p(y(t)|x(t))=1{y(t)=∑nxn(t)} を導入する（MSDM Dirac）
• xI(t) の部分集合を条件付けして他を条件付きスコアで補完することにより部分生成を可能にする
• 分離の後方スコアを統合し弱教師付きバリアントをサポートするサンプラー（Algorithm 1）を提供する
• Moûsai に触発された時間領域 U-Net スコアモデルを用いて Bass, Drums, Guitar, Piano の 4 stems で Slakh2100 を訓練する

実験結果

リサーチクエスチョン

• RQ1 単一の拡散モデルは、生成と分離の両方をサポートする複数の音楽的 stems の結合分布を学習できるか？
• RQ2 拡散 prior フレームワーク内で部分生成（ソース補完）はどう実現されるか？
• RQ3 ディラック delta ベースの尤度は分離のための後方条件付けをガウス尤度より改善するか？
• RQ4 標準的な分離ベンチマーク（例：Slakh2100）における MSDM Dirac およびその派生の定量的改善は、最先端のベースラインと比べてどうか？
• RQ5 いくつかのソースが既知で完全な joint context がない弱教師あり設定でモデルは動作可能か？

主な発見

Model	Bass	Drums	Guitar	Piano	All
Demucs	15.77	19.44	15.30	13.92	16.11
Demucs + Gibbs (512 steps)	17.16	19.61	17.82	16.32	17.73
Dirac Likelihood
Weakly MSDM	18.44	20.19	13.34	13.25	16.30
Weakly MSDM (correction)	19.36	20.90	14.70	14.13	17.27
MSDM	16.21	17.47	12.71	13.29	14.92
MSDM (correction)	17.12	18.68	15.38	14.73	16.48
Gaussian Likelihood [21]
Weakly MSDM	13.48	18.09	11.93	11.17	13.67
Weakly MSDM (correction)	14.27	19.10	12.74	12.20	14.58
MSDM	12.53	16.82	12.98	9.29	12.90
MSDM (correction)	13.93	17.92	14.19	12.11	14.54

• MSDM は、単一の学習済み prior over contexts で総生成、部分生成、ソース分離を実行できる。
• MSDM Dirac は一般に Gaussian 尤度 variante より優れており、特に補正ステップを用いたときに stems 全体で SI-SDRi の平均で競合的なベースラインと競合する。
• Weakly MSDM Dirac およびその補正 variante は Bass と Drums stems で強力な結果を達成し、Demucs ベースラインを上回る場合がある。
• このアプローチは、従来の識別的分離モデルが満たせない補完的な生成タスクを可能にしつつ、競合的な分離性能を提供する。
• Dirac ベースの条件付けは、膨らんだ Gaussian 尤度への依存を減らし、ゼロ分散条件付けリミットによって事後を引き締める。