[論文レビュー] The 2018 Signal Separation Evaluation Campaign

Fabian-Robert Stöter, Antoine Liutkus+1 more|arXiv (Cornell University)|Apr 17, 2018

Speech and Audio Processing被引用数 48

ひとこと要約

この論文はSiSEC 2018の組織と結果を説明し、音楽ソース分離のための MUSDB18 を導入し、オープンソースツールをリリースし、BSS Eval v4 で評価された oracle ベースライン（IBM, IRM, MWF）を提供します。

ABSTRACT

This paper reports the organization and results for the 2018 community-based Signal Separation Evaluation Campaign (SiSEC 2018). This year's edition was focused on audio and pursued the effort towards scaling up and making it easier to prototype audio separation software in an era of machine-learning based systems. For this purpose, we prepared a new music separation database: MUSDB18, featuring close to 10h of audio. Additionally, open-source software was released to automatically load, process and report performance on MUSDB18. Furthermore, a new official Python version for the BSSEval toolbox was released, along with reference implementations for three oracle separation methods: ideal binary mask, ideal ratio mask, and multichannel Wiener filter. We finally report the results obtained by the participants.

研究の動機と目的

• 音声ソース分離評価の標準化を、コミュニティ主導のキャンペーンを通じて改善する。
• スケーラブルでデータ駆動型のワークフローとオープンツールを提供して分離システムのプロトタイピングを支援する。
• ~10 時間程度の音楽とトレース（ステム）を訓練/テスト用に含む MUSDB18 を公開する。
• BSS Eval v4 と参照オラクル法（IBM, IRM, MWF）を公開して上限性能を評価できるようにする。
• 伝統的なモデルベース手法と現代のデータ駆動アプローチの公正な比較を促進する。

提案手法

• IBM（二値マスク）、IRM（α乗のソフトマスク）、MWF（マルチチャネル・ワイナー・フィルタ）の3つのオラクルフィルタリング戦略を定義・実装する。
• MUSDB18 データセットを、 bass, drums, vocals, and other を含む約10 時間のステレオ音楽で、訓練用とテスト用に分割して公開する。
• 計算を高速化するための時間不変歪みフィルタマッチングをサポートする BSS Eval v4 を開発・公開する。
• 再現性のあるベンチマークのために、オラクル法の Python 実装をオープンソースで提供する。
• ソースと指標を横断してオラクルの性能を分析し、上限を確立しシステム開発を導く。

実験結果

リサーチクエスチョン

• RQ1 IBM、IRM、MWF は MUSDB18 における単一・マルチチャンネル音声分離に対してどのような上限を提供できるか？
• RQ2 時間不変歪みフィルタは時間変化フィルタと比較して BSS Eval スコアにどのような影響を与えるか？
• RQ3 追加データの有無にかかわらず、データ駆動法は MUSDB18 でオラクルベースラインと比較してどのように性能を発揮するか？
• RQ4 音楽ソース分離における訓練データ量とアーキテクチャの重要性について、どのような知見が得られるか？
• RQ5 SiSEC 2018 のセットアップはモデルベースとデータ駆動アプローチの公正な比較をどのように可能にするか？

主な発見

• IBM はほとんどの指標でソフトマスクと比較して劣り、ISR を除く多くの指標で musical noise およびゼロ化効果のために性能が低い。
• IRM2 と MWF は3つのオラクルファミリーの中で一般に最良の総合性能を示し、SAR で時には IRM1 が好まれる。
• BSS Eval v4 の計算は v3 の約8x高速で、時間不変歪みフィルタを使用すると結論はほぼ同等で安定性とコストが低下する。
• データ駆動法はターゲットと指標全般でモデルベース手法を大きく上回る。
• データ駆動法の中で、追加訓練データを用いるもの（例: UHL3, TA*）が最も良く、伴奏はオラクルに近づくか同等になり得る一方、ボーカルは依然として難しい。
• 結果は、公平な評価のための MUSDB18 のような標準化されたデータセットの重要性を強調し、アーキテクチャの差は訓練データ量ほど重要でなくなることを示唆する。