[論文レビュー] Investigating Deep Neural Transformations for Spectrogram-based Musical Source Separation

Woosung Choi, Minseok Kim+3 more|arXiv (Cornell University)|Dec 2, 2019

Speech and Audio Processing参考文献 10被引用数 5

ひとこと要約

この論文は、スペクトログラムに基づく音楽ソース分離のためのディープニューラル変換を調査し、原始的な複素数値STFT特徴量を用いて、時間不変型、時間周波数型、ハイブリッド型アーキテクチャを検証している。MUSDBベンチマークにおいて、先行手法よりもSDRで1.0 dBの向上を達成し、最先端の性能を実現した。

ABSTRACT

Musical Source Separation (MSS) is a signal processing task that tries to separate the mixed musical signal into each acoustic sound source, such as singing voice or drums. Recently many machine learning-based methods have been proposed for the MSS task, but there were no existing works that evaluate and directly compare various types of networks. In this paper, we aim to design a variety of neural transformation methods, including time-invariant methods, time-frequency methods, and mixtures of two different transformations. Our experiments provide abundant material for future works by comparing several transformation methods. We train our models on raw complex-valued STFT outputs and achieve state-of-the-art SDR performance on the MUSDB singing voice separation task by a large margin of 1.0 dB.

研究の動機と目的

• スペクトログラムに基づく音楽ソース分離のためのさまざまなニューラル変換アーキテクチャを体系的かつ比較的に評価すること。
• 音楽ソース分離の文脈において、深層学習アーキテクチャ間の直接比較が不足している問題に取り組むこと。
• 性能向上を目的として、時間不変型、時間周波数型、ハイブリッド型の変換手法を検討すること。
• 位相情報とスペクトル情報を保持するために、原始的な複素数値短時間フーリエ変換（STFT）出力を直接用いてモデルを学習すること。
• 今後の研究のための包括的なベンチマークを確立するために、広範な実験的比較を提供すること。

提案手法

• 著者らは、混合音声信号の原始的な複素数値STFT表現に直接作用するディープニューラルネットワークを設計・学習した。
• 主に3つの変換タイプを評価した：時間不変型ネットワーク、時間周波数ハイブリッドネットワーク、および異なる変換タイプの混合物。
• 教師あり学習の設定で、真のソース分離スペクトログラムをターゲットとして、エンドツーエンドでモデルを学習した。
• 複雑なスペクトルパターンをモデル化するために、時間および周波数次元の両方で作用する可学習変換をアーキテクチャに組み込んだ。
• 信号対歪み比（SDR）を最適化する目的関数を採用し、ソース分離品質の向上を図った。
• ネットワーク全体で複素数テンソルを用いることで、位相情報を損なわず、マグニチュードのみの表現を避ける方法を採用した。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラムに基づく音楽ソース分離において、時間不変型、時間周波数型、ハイブリッド型ニューラル変換手法の性能はどのように比較されるか？
• RQ2 マグニチュードのみまたは実数値表現と比較して、原始的な複素数値STFT入力を用いることで、分離品質にどのような影響があるか？
• RQ3 異なる変換タイプの混合は、個別のアーキテクチャと比較して性能向上をもたらすか？
• RQ4 これらのアーキテクチャは、MUSDBベンチマークにおいて、既存の最先端手法をどの程度上回るか？
• RQ5 変換部のアブレーション解析から、モデルの汎化性およびロバスト性に関する何が明らかになるか？

主な発見

• 提案手法は、MUSDBのボーカル分離ベンチマークで、最先端の信号対歪み比（SDR）性能を達成した。
• 従来の最先端手法と比較して、SDRが1.0 dB向上し、顕著な性能向上を示した。
• 原始的な複素数値STFT入力を用いることで、マグニチュードのみまたは実数値表現と比較して、分離品質が向上した。
• 時間不変型と時間周波数型変換を組み合わせたハイブリッドアーキテクチャは、単一タイプのアーキテクチャを上回る性能を示した。
• アブレーションスタディにより、複素数値処理による位相情報の保持が最適性能を達成するために不可欠であることが確認された。
• 包括的な実験的比較により、今後のスペクトログラムベースのソース分離研究における価値あるベンチマークが提供された。