[論文レビュー] Audio Source Separation via Multi-Scale Learning with Dilated Dense U-Nets

Vivek Narayanaswamy, Sameeksha Katoch+3 more|arXiv (Cornell University)|Apr 8, 2019

Speech and Audio Processing参考文献 16被引用数 5

ひとこと要約

この論文は、Wave-U-Netのリサンプリングに基づくマルチスケール特徴抽出を、適応的拡張畳み込みと密スキップ接続に置き換えたDilated Dense U-Netアーキテクチャを提案する。この手法は、時間的モデリングと勾配の流れを改善することで、MUSDB18でSOTA性能を達成し、Wave-U-NetよりもSDRを0.2–1.2 dB向上させた。

ABSTRACT

Modern audio source separation techniques rely on optimizing sequence model architectures such as, 1D-CNNs, on mixture recordings to generalize well to unseen mixtures. Specifically, recent focus is on time-domain based architectures such as Wave-U-Net which exploit temporal context by extracting multi-scale features. However, the optimality of the feature extraction process in these architectures has not been well investigated. In this paper, we examine and recommend critical architectural changes that forge an optimal multi-scale feature extraction process. To this end, we replace regular $1-$D convolutions with adaptive dilated convolutions that have innate capability of capturing increased context by using large temporal receptive fields. We also investigate the impact of dense connections on the extraction process that encourage feature reuse and better gradient flow. The dense connections between the downsampling and upsampling paths of a U-Net architecture capture multi-resolution information leading to improved temporal modelling. We evaluate the proposed approaches on the MUSDB test dataset. In addition to providing an improved performance over the state-of-the-art, we also provide insights on the impact of different architectural choices on complex data-driven solutions for source separation.

研究の動機と目的

• 時間領域の音声源分離におけるマルチスケール特徴抽出を向上させるために、リサンプリングの代わりに拡張畳み込みを導入すること。
• 深層U-Netアーキテクチャにおける密接続の勾配の流れと特徴再利用に与える影響を調査すること。
• MUSDB18データセット上で、大規模な入力コンテキストなどの混同要因を排除した状態で、アーキテクチャ選択を独立して評価すること。
• 音声処理における不適切に定式化された逆問題において、適応的拡張と密接続が性能を統合的に向上させることを示すこと。

提案手法

• パラメータ数を増加させずに、U-Net内の標準的な1次元畳み込みを適応的拡張畳み込みに置き換えることで、時間的受容 field を拡大する。
• 層を跨いで段階的に拡張率を増加させる適応的拡張スキームを採用し、マルチスケールの時間的コンテキストを捉える。
• エンコーダーとデコーダーのパス間に密接続を導入することで、特徴再利用を促進し、勾配消失を軽減する。
• 時間領域におけるエンドツーエンドの源分離を実現するため、U-Netベースのエンコーダー・デコーダー構造とスキップ接続を用いる。
• ランダムなアモニチュードスケーリングによるデータ拡張を実施し、16,384サンプルのセグメントでAdam最適化アルゴリズムを用いて学習する。
• MUSDB18テストセット上で平均および中央値の信号対歪み比（SDR）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 リサンプリングを適応的拡張畳み込みに置き換えることで、時間領域の源分離におけるマルチスケール特徴抽出が向上するか？
• RQ2 U-Netベースの源分離モデルにおいて、ネットワークの深さが増すに従い、密接続が性能に与える影響は何か？
• RQ3 適応的拡張と密接続の組み合わせが、MUSDB18データセット上でWave-U-Netのベースラインを上回るか？
• RQ4 拡張戦略やスキップ接続といったアーキテクチャ的選択が、複雑な音声逆問題におけるSDR性能にどの程度影響を与えるか？

主な発見

• 提案されたDilated Dense U-Netは、MUSDB18テストセットでボーカルの平均SDRが-2.986 dBを達成し、Wave-U-Netの-3.292 dBを上回った。
• ドラムに関しては、平均SDRが2.449 dBに達し、Wave-U-Netの1.435 dBから1.014 dBの向上を達成した。
• 適応的拡張スキームは、固定拡張や標準的な1次元畳み込みを著しく上回り、文脈に応じた受容 field の重要性を示した。
• 密接続はネットワークの深さが増すほど顕著な向上をもたらし、特に3ブロックの深層アーキテクチャで顕著であった。
• 適応的拡張と密接続の組み合わせは、ボーカル、ドラム、ベース、その他のすべての音源で一貫したSDR向上をもたらした。
• 性能向上は一貫しており、音源タイプごとに0.2 dBから1.2 dBの向上を示し、データ駆動型音声処理におけるアーキテクチャ設計の重要性を裏付けた。