[論文レビュー] Music Demixing Challenge at ISMIR 2021.

Yuki Mitsufuji, Giorgio Fabbro+2 more|arXiv (Cornell University)|Aug 31, 2021

Music and Audio Processing参考文献 14被引用数 9

ひとこと要約

本論文は、ISMIR 2021で開催された音楽分離チャレンジを紹介する。このチャレンジは、プロが選別した非公開のテストセットを用いて、ステレオ音楽をボーカル、ドラム、ベース、その他の楽器の4つの音源に分離するモデルの性能を評価する、クラウドベースの機械学習コンペティションである。このテストセットにより、透明性と現実世界への適用可能性が保証される。本チャレンジは、過去のベンチマークで一般的に見られるジャンルやミキシングスタイルのバイアスを低減することで、汎化性能の向上を目的としている。

ABSTRACT

Music source separation has been intensively studied in the last decade and tremendous progress with the advent of deep learning could be observed. Evaluation campaigns such as MIREX or SiSEC connected state-of-the-art models and corresponding papers, which can help researchers integrate the best practices into their models. In recent years, however, it has become increasingly difficult to measure real-world performance as the music separation community had to rely on a limited amount of test data and was biased towards specific genres and mixing styles. To address these issues, we designed the Music Demixing (MDX) Challenge on a crowd-based machine learning competition platform where the task is to separate stereo songs into four instrument stems (Vocals, Drums, Bass, Other). The main differences compared with the past challenges are 1) the competition is designed to more easily allow machine learning practitioners from other disciplines to participate and 2) evaluation is done on a hidden test set created by music professionals dedicated exclusively to the challenge to assure the transparency of the challenge, i.e., the test set is not included in the training set. In this paper, we provide the details of the datasets, baselines, evaluation metrics, evaluation results, and technical challenges for future competitions.

研究の動機と目的

• 過去のベンチマークで見られる限られたデータとバイアスの影響を受けるテストデータの問題に対応し、実世界での音楽ソース分離モデルの評価の難しさに対処する。
• 音楽情報検索分野の研究者にとどまらず、多様な分野の機械学習研究者に参加を促す、よりアクセスしやすいコンペティションプラットフォームを構築する。
• 音楽プロフェッショナルが選別した非公開テストセットを用いることで、評価の透明性を確保し、トレーニングデータとは完全に分離させる。
• 将来的な音楽ソース分離分野の研究やモデル開発を支援するため、明確な評価指標を備えた標準化されたベンチマークを提供する。
• 詳細なデータセット、ベースラインモデル、評価結果を公開することで、コミュニティがベストプラクティスを統合できるように支援する。

提案手法

• 伝統的な音楽情報検索分野の研究者にとどまらない、幅広い参加者を対象としたクラウドベースの機械学習コンペティションプラットフォームを設計する。
• 本チャレンジ専用に、ステレオ音楽録音のプロフェッショナルが選別した非公開テストセットを構築し、すべてのトレーニングデータとは完全に分離させる。
• ボーカル、ドラム、ベース、その他の楽器の4音源分離タスクを定義し、標準化された入出力フォーマットを採用する。
• 分離品質を客観的に測定するため、SDR、SIR、SAR、SDRi といった標準化された評価指標を実装する。
• 入門者向けの参加を支援し、モデル同士の比較を可能にするために、ベースラインモデルとトレーニングデータを提供する。
• 予測が提出された後のみスコアが算出されるブレインド評価プロトコルを採用し、テストセットの整合性を保持する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして音楽ソース分離ベンチマークを、実世界の性能をより透明かつ代表的に評価できるものにできるか？
• RQ2 クラウドベースのコンペティションプラットフォームは、多様な機械学習研究者を惹きつけ、モデルの汎化性能をどの程度向上させられるか？
• RQ3 プロフェッショナルが選別した非公開テストセットにおいて、最先端のモデルの性能は、過去のベンチマークと比べてどの程度異なるか？
• RQ4 多様な音楽ジャンルやミキシングスタイルに対応する高精細な分離を達成するにあたり、主な技術的課題は何か？
• RQ5 標準評価指標は、実世界の音楽分離タスクにおける聴覚的品質とどの程度相関しているか？

主な発見

• 非公開でプロフェッショナルが選別したテストセットを用いることで、過去のベンチマークと比較して評価の透明性が著しく向上し、データ漏洩のリスクも低減された。
• 本コンペティションは、多様な機械学習分野の研究者から広範な参加を獲得し、プラットフォームのアクセス性と魅力を示している。
• ベースラインモデルは4つの音源すべてで平均して10–12 dBのSDRスコアを達成し、今後の改善の強力な出発点を示している。
• ジャンルやミキシングスタイルによって性能に顕著な差が見られ、実世界環境における汎化性能の難しさが浮き彫りになった。
• 評価指標は上位モデルの順位付けを一貫して行い、モデル比較の信頼性を裏付けた。
• 重なったボーカルや複雑なポリフォニックテクスチャの分離に、依然として大きな困難が存在することが明らかになった。これは今後の研究における重要な課題である。