[論文レビュー] Investigating U-Nets with various Intermediate Blocks for Spectrogram-based Singing Voice Separation

Woosung Choi, Minseok Kim+3 more|arXiv (Cornell University)|Dec 2, 2019

Speech and Audio Processing参考文献 24被引用数 25

ひとこと要約

本稿は、スペクトログラムベースの歌唱音声分離におけるU-Netアーキテクチャ内のさまざまな中間ブロックを調査し、実部と虚部を別々のチャネルとして扱う複素数スペクトログラム推定フレームワーク（CaC）を提案する。時間周波数畳み込みブロック（TFC-TDF）に全結合層を統合することで、MUSDBデータセット上で最先端のSDR性能を達成し、パラメータ数を減らし、後処理を一切用いない状態で、前回の最先端手法より0.9 dB向上した。

ABSTRACT

Singing Voice Separation (SVS) tries to separate singing voice from a given mixed musical signal. Recently, many U-Net-based models have been proposed for the SVS task, but there were no existing works that evaluate and compare various types of intermediate blocks that can be used in the U-Net architecture. In this paper, we introduce a variety of intermediate spectrogram transformation blocks. We implement U-nets based on these blocks and train them on complex-valued spectrograms to consider both magnitude and phase. These networks are then compared on the SDR metric. When using a particular block composed of convolutional and fully-connected layers, it achieves state-of-the-art SDR on the MUSDB singing voice separation task by a large margin of 0.9 dB. Our code and models are available online.

研究の動機と目的

• U-Netアーキテクチャにおける中間ブロック設計の系統的評価と比較を目的とする。
• 畳み込みブロックに時系列分散全結合層を統合することによる分離性能への影響を調査することを目的とする。
• マグニチュードのみの表現ではなく、複素数スペクトログラム（実部と虚部を別々のチャネルとして扱う）を用いる利点を検討することを目的とする。
• 音楽ソース分離における効果的なU-Netベースモデルの構築に向けた実用的設計指針を確立することを目的とする。
• 再帰層や後処理（例：ウィーナーフィルタリング）に依存せずに、MUSDBベンチマークで最先端の性能を達成することを目的とする。

提案手法

• 複素数をチャンネルとして扱う（CaC）フレームワークは、複素数スペクトログラムを実数テンソルとして扱い、実部と虚部を別々のチャネルとして扱うことで、複素数出力のエンドツーエンド学習を可能にする。
• 標準的な2次元CNN、時系列分散畳み込み（TDC）、周波数分散畳み込み（TDF）、および全結合層を統合したハイブリッドTFC-TDFブロックを含む、さまざまな中間ブロックを備えたU-Netアーキテクチャを実装する。
• 教師あり学習を用い、予測値と真値の複素数スペクトログラム間の平均二乗誤差を最小化するようにモデルを学習する。
• フレームワークは直接複素数スペクトログラムを推定することで、マグニチュードのみのモデルでしばしば捨てられる位相情報を保持する。
• アブレーションスタディでは、マグニチュードのみの入力と生の複素数スペクトログラム入力で学習したモデルを比較し、位相情報の利用効果を評価する。
• 最終的なモデルは、ボトルネック構造と全結合層を備えたTFC-TDFブロックを採用し、少ないパラメータ数で高い性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 時系列分散畳み込み（TDC）、周波数分散畳み込み（TDF）、TFC-TDFなど、異なる中間ブロック設計（例）が、U-Netベースモデルにおける歌唱音声分離性能にどのように影響を与えるか？
• RQ2 中間ブロックに全結合層を挿入することで、SDR性能にどのような影響があるか？
• RQ3 マグニチュードのみのスペクトログラムではなく、複素数スペクトログラムを用いることで、どの程度の性能向上が達成されるか？
• RQ4 再帰層や後処理（例：ウィーナーフィルタリング）を用いずに、U-Netモデルが最先端の結果を達成できるか？
• RQ5 ブロックタイプの比較から、パラメータ効率性と性能の観点でどのような設計原則が浮かび上がるか？

主な発見

• 時系列分散および周波数分散畳み込みに加え、全結合層を統合したTFC-TDFブロックは、MUSDBテストセットで最高のSDR 7.98 dBを達成した。
• 提案手法は、再帰層を用いず、パラメータ数も少ない（2.24M vs. >1.9M）にもかかわらず、前回の最先端手法DGRU-DGConvよりSDRで0.9 dB優れた。
• n_fft = 4096の場合、同じアーキテクチャとパラメータ数を用いても、マグニチュードのみの入力から複素数スペクトログラム（CaCフレームワーク）への置き換えでSDRが0.74 dB向上した。
• マグニチュードのみのU-NetからCaC U-Netへの単純な拡張により、同じモデル設定でSDRが0.64 dB向上した。これは位相情報の価値を示している。
• ボトルネック構造を備えたTFC-TDFブロックは、たった0.99Mパラメータで高い性能を達成した。これは、精度を損なわず、パラメータ効率を実現可能であることを示している。
• 後処理（例：ウィーナーフィルタリング）を一切行わないCaCフレームワークを用いたモデルは、後処理を用いるマグニチュードのみのモデルを上回った。これは、エンドツーエンドの複素数スペクトログラム学習の有効性を示している。