[論文レビュー] Benchmarks and leaderboards for sound demixing tasks

Roman Solovyev, Alexander Stempkovskiy+1 more|arXiv (Cornell University)|May 12, 2023

Speech and Audio Processing被引用数 6

ひとこと要約

本論文は、音声源分離のための2つの新しいベンチマーク—Synth MVSep および Multisong MVSep—を紹介するとともに、https://mvsep.com/quality_checker/ に動的リーダーボードを設置した。音声および楽器用モデル（UVR-MDX1、UVR-MDX2、Demucs4）を用いたステム別モデルアンサンブル手法を提案し、テスト時増強と重み付き平均化を組み合わせることで、Sound Demixing Challenge 2023 で上位3位の成績を収めた。MDX23の公開テストセットでは平均SDRが9.41を記録した。

ABSTRACT

Music demixing is the task of separating different tracks from the given single audio signal into components, such as drums, bass, and vocals from the rest of the accompaniment. Separation of sources is useful for a range of areas, including entertainment and hearing aids. In this paper, we introduce two new benchmarks for the sound source separation tasks and compare popular models for sound demixing, as well as their ensembles, on these benchmarks. For the models' assessments, we provide the leaderboard at https://mvsep.com/quality_checker/, giving a comparison for a range of models. The new benchmark datasets are available for download. We also develop a novel approach for audio separation, based on the ensembling of different models that are suited best for the particular stem. The proposed solution was evaluated in the context of the Music Demixing Challenge 2023 and achieved top results in different tracks of the challenge. The code and the approach are open-sourced on GitHub.

研究の動機と目的

• MUSDB18 や Divide and Remaster といった既存のベンチマークへの過学習という問題を軽減するため、新しい独立評価データセットを導入すること。
• 複数のベンチマークをカバーする、最新のモデルやアンサンブルを比較可能な動的オープンリーダーボードを提供すること。
• 特定のステム（ボーカル対楽器）に特化したモデルアンサンブルに基づく、新規の音声分離パイプラインの開発と検証を行うこと。
• ボーカル抑制、テスト時増強、重み付きアンサンブルを組み合わせたハイブリッドアプローチを用いて、Sound Demixing Challenge 2023 で高い性能を達成すること。
• 再現可能性と音楽分離分野におけるコミュニティの進歩を促進するため、オープンソースのコードとモデルを公開すること。

提案手法

• 著者らは、合成データ（Synth MVSep）と実世界のマルチトラック録音（Multisong MVSep）の2つの新しいベンチマークを導入し、既存データセットを超えた一般化性能を評価することを目的としている。
• 動的リーダーボードは https://mvsep.com/quality_checker/ にホスティングされており、研究者が予測結果をアップロードし、リアルタイムでモデルの性能を比較できる。
• ボーカル分離には、UVR-MDX1 および UVR-MDX2 モデルを用い、波形反転に基づくテスト時増強を実施。混合音源を反転させ、再推論することでモデルのロバスト性を向上させる。
• 最終的なボーカルは重み付き平均化により得られる：$\text{vocals} = \frac{\sum w_i \cdot \text{vocals}_i}{\sum w_i}$。最適な重みは、それぞれ UVR-MDX1、UVR-MDX2、Demucs4 に対して 12、8、3 である。
• 楽器ステム（ベース、ドラム、その他）に対しては、4種類の Demucs4 および Demucs3 のバリエーションを用い、テスト時増強と重み付きアンサンブルを適用。各ステムごとに異なる重みを設定し、性能最適化を図る。
• 最終的なステム推定値は、楽器予測の線形結合により再構成される：$\text{bass} = \frac{1}{3}(\text{instr} - \bar{\text{other}} - \bar{\text{drums}} + 2\cdot\bar{\text{bass}})$。ドラムおよびその他のステムに対しても同様の式が成り立つ。

実験結果

リサーチクエスチョン

• RQ1 MUSDB18 や Divide and Remaster といった人気の高いデータセットへの過学習を軽減する新しい独立評価ベンチマークで、既存の最先端モデルはどの程度の性能を示すか？
• RQ2 ボーカルと楽器の各ステムに特化したモデルを選別してアンサンブル化する戦略は、単一モデルベースラインを上回る性能を発揮するか？
• RQ3 波形反転によるテスト時増強は、分離モデルのロバスト性と一般化性能をどの程度向上させるか？
• RQ4 すべてのステムのSDRを最大化するために、複数モデルのアンサンブルにおける最適な重み付け方式は何か？
• RQ5 ボーカル抑制、モデルアンサンブル、テスト時増強を統合した統一的でオープンソースのパイプラインは、SDX2023 といった実世界のチャレンジでトップクラスの性能を達成できるか？

主な発見

• 提案されたアンサンブル手法は、MDX23の公開テストセットで平均SDRが9.41を記録し、Sound Demixing Challenge 2023 で上位3位の成績を収めた。
• Multisong MVSep ベンチマークでは、平均SDRが10.11に達し、個々のステムSDRはベースが12.68、ドラムが11.68、その他のステムが6.67、ボーカルが9.62であった。
• MDX23のプライベートテストセットでは平均SDRが9.25を記録し、未観測データへの強い一般化性能が確認された。
• ボーカル分離においては、UVR-MDX1 および UVR-MDX2 が最も効果的であることが判明。楽器ステムでは、'demucs_ft' および 'demucs_6s' ヘッドを備えた Demucs4 バリエーションが最良の性能を示した。
• テスト時反転増強は、特にボーカル分離において、波形の変動に対するモデルのロバスト性を顕著に向上させた。
• 最適化された重み（ボーカル：12, 8, 3；ベース：19, 4, 5, 8 など）を用いた重み付きアンサンブルにより、すべてのステムおよびデータセットで一貫した性能向上が得られた。