[論文レビュー] Multitask learning for instrument activation aware music source separation

Yun-Ning Hung, Alexander Lerch|arXiv (Cornell University)|Aug 2, 2020

Music and Audio Processing被引用数 8

ひとこと要約

本稿では、推定された楽器活動を推論中に動的スペクトル重みとして用いることで分離品質を向上させる、楽器活性検出（IAD）と音楽ソース分離を同時に実行するマルチタスク深層学習モデルを提案する。6楽器を含むMedleyDBとMixing Secretsの組み合わせデータセットにおいて、Open-Unmixを上回る性能を示しており、IADを組み込むことで誤ったマスク予測を是正でき、ソース分離性能が向上することを実証した。

ABSTRACT

Music source separation is a core task in music information retrieval which has seen a dramatic improvement in the past years. Nevertheless, most of the existing systems focus exclusively on the problem of source separation itself and ignore the utilization of other~---possibly related---~MIR tasks which could lead to additional quality gains. In this work, we propose a novel multitask structure to investigate using instrument activation information to improve source separation performance. Furthermore, we investigate our system on six independent instruments, a more realistic scenario than the three instruments included in the widely-used MUSDB dataset, by leveraging a combination of the MedleyDB and Mixing Secrets datasets. The results show that our proposed multitask model outperforms the baseline Open-Unmix model on the mixture of Mixing Secrets and MedleyDB dataset while maintaining comparable performance on the MUSDB dataset.

研究の動機と目的

• 楽器活性検出（IAD）をマルチタスク学習によって音楽ソース分離性能を向上させられるかを調査すること。
• MUSDBの標準的な4楽器設定（例：MUSDB）を超えて、最大6楽器を含むより大きなオープンデータセットを用いてソース分離を拡張すること。
• 推論中にIAD予測を動的重みとして統合し、ソース分離マスクを精緻化することを検討すること。
• データセットの多様性と現実性を高めるために、MedleyDBとMixing Secretsの組み合わせデータセットを用いてモデルを評価すること。
• 3つの独立楽器にとどまらず、最大6楽器を分離可能な、初めてのオープンソースモデルを提供すること。

提案手法

• ソース分離と楽器活性検出の両タスクに共通のエンコーダ・デコーダアーキテクチャを用い、下流層を共有し、タスク固有のヘッドを別々に持つ。
• スペクトログラム再構成のための平均二乗誤差（MSE）と楽器活性予測のためのバイナリクロスエントロピー（BCE）を組み合わせたマルチタスク損失を用いて、エンドツーエンドで訓練する。
• 推論時、予測された楽器活性スコアをフレームごとの重みとして用い、推定マスク内でターゲット楽器が存在しない領域を抑制する。
• 予測された楽器活性ラベルに中央値フィルタを適用し、誤検出や誤検出の少ない予測を低減する。
• データの多様性を高め、6楽器の分離を可能にするために、MMデータセット（MedleyDB + Mixing Secrets）を活用する。
• 標準指標（SDR、SIR、SAR）を用いて性能を評価し、有効性の検証のため、楽器重み付けあり・なしのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 楽器活性検出と音楽ソース分離を共同で訓練することで、ソース分離性能が向上するか？
• RQ2 推論時に予測された楽器活性をスペクトル重みとして用いることで、分離品質にどのような影響を与えるか？
• RQ3 IADを用いたマルチタスク学習は、4楽器を超える楽器数を含むデータセットにおいて、より良い一般化性能をもたらすか？
• RQ4 後処理（例：中央値フィルタ）による楽器予測の改善が、最終的な分離性能に与える影響は何か？
• RQ5 6楽器を含むより大規模で多様なデータセットにおいて、Open-Unmixと比較して本モデルはどの程度の性能を示すか？

主な発見

• 楽器活動重み付けを施したマルチタスクモデルは、組み合わせたMedleyDBとMixing Secretsデータセットにおいて、ベースラインのOpen-Unmixよりも平均SDR、SIR、SARが向上した。
• 予測された楽器活動を重みとして用いることで、誤ったマスク予測の是正が可能となり、特に干渉成分（SIR）の低減に寄与し、分離品質が向上した。
• 予測された楽器活性に中央値フィルタを適用することで、全楽器にわたり一貫した性能向上が得られ、ノイズの多い予測に対しても頑健であることが示された。
• 真値の楽器ラベルを重みとして用いることで最高の性能が得られ、上界としての役割を果たし、提案手法の重み付け機構の有効性を裏付けた。
• MMデータセットではOpen-Unmixを上回る性能を示した一方で、標準MUSDBデータセットでは同等の性能を維持しており、異なるデータセット間での一般化性能が確認された。
• マルチタスク損失で学習した場合にわずかに分離品質が低下するものの、推論時の重み付け機構により全体としての改善が得られたことから、マルチタスク設計の有効性が裏付けられた。