[論文レビュー] Wave-U-Net: A Multi-Scale Neural Network for End-to-End Audio Source Separation

Daniel Stoller, Sebastian Ewert+1 more|arXiv (Cornell University)|Jun 8, 2018

Speech and Audio Processing被引用数 75

ひとこと要約

本論文は Wave-U-Net を提案します。時間領域のエンドツーエンドの音源分離モデルであり、多スケールの U-Net デザインを用いて長い時間的文脈を処理し、境界アーチファクトやアップサンプリングの問題に対処し、スペクトログラムベースのアプローチと比較して優れた性能を示します。

ABSTRACT

Models for audio source separation usually operate on the magnitude spectrum, which ignores phase information and makes separation performance dependant on hyper-parameters for the spectral front-end. Therefore, we investigate end-to-end source separation in the time-domain, which allows modelling phase information and avoids fixed spectral transformations. Due to high sampling rates for audio, employing a long temporal input context on the sample level is difficult, but required for high quality separation results because of long-range temporal correlations. In this context, we propose the Wave-U-Net, an adaptation of the U-Net to the one-dimensional time domain, which repeatedly resamples feature maps to compute and combine features at different time scales. We introduce further architectural improvements, including an output layer that enforces source additivity, an upsampling technique and a context-aware prediction framework to reduce output artifacts. Experiments for singing voice separation indicate that our architecture yields a performance comparable to a state-of-the-art spectrogram-based U-Net architecture, given the same data. Finally, we reveal a problem with outliers in the currently used SDR evaluation metrics and suggest reporting rank-based statistics to alleviate this problem.

研究の動機と目的

• 位相情報を取り込み、固定スペクトルフロントエンドを回避するために、時間領域でのエンドツーエンドの音源分離を動機づける。
• 長距離の時間依存性を捉えるために、ダウンサンプリングとアップサンプリングを介してマルチスケール特徴を用いる一次元の Wave-U-Net を開発する。
• 境界アーティファクトを減らすため、適切な入力文脈、非エイリアシングアップサンプリング、源の加法性を強制する差分出力層を含むアーキテクチャの改善。
• 歌声と多楽器分離におけるモデルの評価を行い、同等の設定下でスペクトログラムベースの U-Net と比較する。
• 評価指標の問題点（SDR のアウトライヤー）を論じ、対策として順位ベースの統計を提案する。

提案手法

• 混合音から K 音源をエンドツーエンドで分離するために U-Net を 1D の時間領域へ適応させる。
• スキップ接続を用いてマルチスケールの時間特徴を統合するために、繰り返しダウンサンプリングとアップサンプリングを用いる。
• ストライド付き転置畳込みを、アップサンプリングのアーティファクトを避けるために線形補間の後に通常の畳込みを用いる方式へ置換する。
• 混合音との加法的一貫性を強制する差分出力層を導入する: S^K = M - sum_{j=1}^{K-1} S^j.
• 境界アーティファクトを避けるために出力へ入力文脈を提供し、文脈認識予測を用いる。
• 任意で複数の入力チャネルと出力をマルチチャネルテンソルとして扱い、ステレオ入力へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの時間領域モデルは、音源分離において長距離の時間的文脈を効果的に活用できるか。
• RQ2 境界ア artifacts を避けるためのアーキテクチャ上の選択は、時間領域ネットワークの分離品質を改善するか。
• RQ3 同等の学習条件（モノラルおよびステレオの設定を含む）で、Wave-U-Net はスペクトログラムベースの U-Net と比較してどのような性能を示すか。

主な発見

• Wave-U-Net は、最新のスペクトログラムベースの U-Net と同等の設定で比較した場合、歌声およびマルチ楽器タスクで競争力のある分離性能を達成する。
• 追加の入力文脈を提供することで予測品質が向上し、特に出力境界での効果が顕著である。
• ステレオモデリングを用いると伴奏で改善が得られ、チャンネル特異情報が分離を助ける可能性を示唆している。
• アップサンプリングを転置畳込みの代わりに線形補間で置換することは、高周波アーティファクトを避けるのに役立つ。
• 差分出力層は混合音への加法性を強制し、ネットワークの自由度を1つ減らす。
• 研究は SDR ベースの評価にアウトライヤーが存在することを指摘し、堅牢な代替として順位ベースの統計の報告を提案している。