[論文レビュー] Music Source Separation Using Stacked Hourglass Networks

Sungheon Park, Taehoon Kim+2 more|arXiv (Cornell University)|May 22, 2018

Speech and Audio Processing被引用数 12

ひとこと要約

本論文は、スペクトラムからマルチスケール特徴抽出を活用し、洗練されたソースマスクを生成するスタックドアワーガラスネットワークを提案する。単純な構造であるが、MIR-1KおよびDSD100データセットにおいて競争力ある性能を達成しており、スタックドリファインメントにより最大2.4 dBのSDR向上を達成し、ボーカルおよびアコーディオン分離において先行手法を上回っている。

ABSTRACT

In this paper, we propose a simple yet effective method for multiple music source separation using convolutional neural networks. Stacked hourglass network, which was originally designed for human pose estimation in natural images, is applied to a music source separation task. The network learns features from a spectrogram image across multiple scales and generates masks for each music source. The estimated mask is refined as it passes over stacked hourglass modules. The proposed framework is able to separate multiple music sources using a single network. Experimental results on MIR-1K and DSD100 datasets validate that the proposed method achieves competitive results comparable to the state-of-the-art methods in multiple music source separation and singing voice separation tasks.

研究の動機と目的

• 畳み込みニューラルネットワークを用いた、複数の音楽ソース分離のための単純かつ効果的なディーブラーニングフレームワークの開発。
• 元々人体ポーズ推定を目的として設計されたスタックドアワーガラスアーキテクチャを、音声スペクトラム処理に適応させ、ソース分離に応用すること。
• スタックドアワーガラスモジュールを介したマルチスケール特徴抽出と反復的マスクリファインメントにより、分離性能の向上を図ること。
• 複数のソース分離に1つのネットワークを用いることでモデルの複雑さを低減し、トレーニングおよび推論のオーバーヘッドを最小限に抑えること。
• 歌唱ボーカル分離およびマルチインストゥルメント分離の両タスクにおいて評価を行い、多様な音源に対して高いロバスト性を示すこと。

提案手法

• 入力としてモノフォニック音声ミックスのスペクトラムを用い、CNN処理の対象として2次元のシングルチャンネル画像とみなす。
• スキップ接続を介して、低解像度特徴マップからのグローバルコンテキストと高解像度マップからの微細なディテールを両方捉えるスタックドアワーガラスモジュールを採用する。
• 各アワーガラスモジュールは、転置畳み込みを用いたダウンサンプリングとアップサンプリングを実行し、入力スペクトラムの次元と一致する3次元出力テンソルを生成する。
• 各モジュールの出力チャネル数は、ターゲットとなる音楽ソースの数に等しく、各ソースのエンドツーエンドマスク予測を可能にする。
• 複数のアワーガラスモジュールをスタックし、1つのモジュールの出力を次のモジュールの入力として供給することで、ソースマスクの段階的リファインメントを実現する。
• トレーニング中に各アワーガラス段階で中間監視を適用し、収束を加速させるとともに、特徴学習の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 元々人体ポーズ推定を目的として設計されたスタックドアワーガラスネットワークアーキテクチャを、音楽ソース分離に効果的に再利用できるか？
• RQ2 スタックドアワーガラスモジュールにおけるマルチスケール特徴抽出は、単一段階ネットワークと比較して、ソース分離性能にどのように寄与するか？
• RQ3 スタックドモジュールを介した反復的マスクリファインメントは、分離音源の品質をどの程度向上させるか？
• RQ4 MIR-1KおよびDSD100といった標準ベンチマークにおいて、スタックドアワーガラスネットワークの性能は最先端手法と比較してどうなるか？
• RQ5 ベースと他の楽器のように非常に類似した音源を分離する場合、このアプローチの限界は何か？

主な発見

• DSD100データセットにおいて、ボーカル分離では中央値SDRが5.45 dB、アコーディオン分離では12.14 dBを達成し、MM-DenseNetを除くすべてのベースライン手法を上回った。
• マルチインストゥルメント分離（ベース、ドラム、その他の楽器、ボーカル）において、中央値SDRはそれぞれ1.77 dB、4.11 dB、2.36 dB、5.16 dBを記録し、ボーカルおよびドラム分離において優れた性能を示した。
• スタック内の最初のモジュールから最後のモジュールにかけて、SDRが約2.4 dB向上した。これは反復的リファインメントの有効性を示している。
• 最終アワーガラスモジュールからの推定スペクトラムは、低周波数帯（0–500 Hz）の詳細をより正確に捉えており、2000–3000 Hz帯のアーティファクトも初期モジュールと比較して低減していた。
• 歌唱ボーカル分離において優れた性能を示したのは、ボーカルとアコーディオンのスペクトル差が明確に現れていたためである。一方、ベースやその他の楽器では、音響的類似性のため性能が低かった。
• 1つの統合ネットワークを用いることで、計算およびメモリのオーバーヘッドを低減し、マルチネットワークやマルチステージアプローチと比較して競争力ある結果を達成した。