[論文レビュー] Music Source Restoration with Ensemble Separation and Targeted Reconstruction

Xinlong Deng, Yu Xia+1 more|arXiv (Cornell University)|Mar 13, 2026

Speech and Audio Processing被引用数 0

ひとこと要約

この論文は、エン ensemble の音楽源分離モデル群とターゲット restoration（BSRNN ベース）を組み合わせた2段階システムを提案し、 mastered ミックスから元の楽器 stems を回復することで、最先端に近い成果を達成し、MSR ベンチマークで2位にランク付けされている。

ABSTRACT

The Inaugural Music Source Restoration (MSR) Challenge targets the recovery of original, unprocessed stems from fully mixed and mastered music. Unlike conventional music source separation, MSR requires reversing complex production processes such as equalization, compression, reverberation, and other real-world degradations. To address MSR, we propose a two-stage system. First, an ensemble of pre-trained separation models produces preliminary source estimates. Then a set of pre-trained BSRNN-based restoration models performs targeted reconstruction to refine these estimates. On the official MSR benchmark, our system surpasses the baselines on all metrics, ranking second among all submissions. The code is available at https://github.com/xinghour/Music-source-restoration-CUPAudioGroup

研究の動機と目的

• 完全に混合・マスタリングされた音楽から制作効果を反転させて元の未処理 stems の回復を動機づける。
• エン ensemble 分離とターゲット restoration の2段階パイプラインを提案する。
• 複数の楽器クラスに渡って MSR ベンチマークで優れた性能を示す。
• データの不足と制約をさらなる向上のボトルネックとして指摘する。

提案手法

• 事前学習済み MSS モデルのエン ensemble を用いて初期楽器推定値を生成する（ボーカル、ベース、ドラム、その他、パーカッションは別途 refine）。
• BSRNN ベースの restoration モジュールを適用して推定値を統合分離の refine とターゲット restoration を通じて洗練させる。
• 最初の段階の出力を restoration モデルにとって有益な priors として扱い、残存アーティファクトを抑制する。
• MSR ベンチマークのベースラインをターゲット refine と評価に活用する。
• 楽器クラス別の MMSNR と FAD-CLAP 指標を報告して時間-周波数精度と意味的 restoration を評価する。

Fig. 1 : Waveform and spectrogram of the original audio and the BS-RoFormer separated output for drums.

実験結果

リサーチクエスチョン

• RQ1 劣化した mastered 音楽に対して MSS モデルのエン ensemble は堅牢な初期推定を生み出せるか。
• RQ2 エン ensemble 分離とターゲット BSRNN ベース restoration の結合は楽器特有の restoration 品質を改善するか。
• RQ3 2段階システムは楽器クラス全体でどのように性能を示し、限界はどこにあるか（例：Percussion）。
• RQ4 MSR ベンチマークのテストセットで基準と比較してシステムはどうか。

主な発見

Model	Metric	Vocals	Gtr.	Key.	Synth	Bass	Drums	Perc.	Orch.
BSRNN (baseline)	MMSNR	1.3365	0.2722	0.0588	0.0223	0.6303	0.8569	0.0000	0.0388
BSRNN (baseline)	FAD	0.3476	0.4085	1.0690	0.9027	0.7334	0.6393	1.1880	0.7472
EnsembleSep	MMSNR	1.3047	0.5836	0.2578	0.0693	1.4700	1.6712	0.6846	0.1348
EnsembleSep	FAD	0.2607	0.4832	0.7842	0.8156	0.4387	0.4540	0.7412	0.7460
EnsembleSep+BSRNN	MMSNR	1.3298	0.6274	0.4077	0.0596	1.3800	1.9461	0.0000	0.1570
EnsembleSep+BSRNN	FAD	0.2680	0.2802	0.6662	0.7525	0.4045	0.3236	0.8461	0.5981

• EnsembleSep+BSRNN は多くの楽器クラスで基準値より MMSNR および FAD-CLAP を向上させる。
• Percussion では基準系と提案系の MMSNR 値がほぼゼロ付近で、データ/ドメインのシフト問題を示唆。
• 2段階システムは MSR ベンチマークのテストセットで基準を上回る（MMSNR=2.3405, FAD=0.2253, Zimt=0.0164, MOS=3.2262）。
• データ不足は依然としてボトルネックであり、より高品質で多様な訓練データでのスケーリングがさらなる向上へ必要。