[論文レビュー] Conditioned-U-Net: Introducing a Control Mechanism in the U-Net for Multiple Source Separations

Gabriel Meseguer-Brocal, Geoffroy Peeters|arXiv (Cornell University)|Jul 2, 2019

Speech and Audio Processing参考文献 19被引用数 36

ひとこと要約

本論文は Conditioned-U-Net (C-U-Net) を提示し、FiLM ベースの条件付けを用いた単一の U-Net が、one-hot な楽器ベクトルにガイド付きされたマルチ楽器源分離を実現する。

ABSTRACT

Data-driven models for audio source separation such as U-Net or Wave-U-Net are usually models dedicated to and specifically trained for a single task, e.g. a particular instrument isolation. Training them for various tasks at once commonly results in worse performances than training them for a single specialized task. In this work, we introduce the Conditioned-U-Net (C-U-Net) which adds a control mechanism to the standard U-Net. The control mechanism allows us to train a unique and generic U-Net to perform the separation of various instruments. The C-U-Net decides the instrument to isolate according to a one-hot-encoding input vector. The input vector is embedded to obtain the parameters that control Feature-wise Linear Modulation (FiLM) layers. FiLM layers modify the U-Net feature maps in order to separate the desired instrument via affine transformations. The C-U-Net performs different instrument separations, all with a single model achieving the same performances as the dedicated ones at a lower cost.

研究の動機と目的

• 楽器ごとに別々のモデルを訓練せず、マルチタスク音楽ソース分離を動機づける。
• 選択された楽器を分離するように汎用の U-Net を適応させる条件付け機構を導入する。
• FiLM ベースの条件付け（シンプル版と複雑版）と軽量な条件生成器を提案する。
• MUSDB18 におけるパラメータ効率と専用モデルと比較した競争力のある性能を示す。

提案手法

• 外部データに基づいて特徴マップを条件付けするため、U-Net のエンコーダに FiLM 層を組み込む。
• one-hot な楽器ベクトル z を用いて、γとβパラメータを出力する条件生成器を介して条件付けを行う。
• FiLM simple（特徴マップ全体で共有の gamma/beta）と FiLM complex（特徴マップごとの gamma/beta）層を比較する。
• 条件生成器の埋め込み戦略として、完全連結 (FC) および CNN ベースの埋込みを検討する。
• MUSDB18 データセット上で、条件付きネットワークと条件生成器を共同訓練し、漸進的訓練を行う。
• 分離済み信号を再構成するための振幅スペクトログラムマスクを用いて評価し、SIR、SAR、 SDR を計算する。

Figure 1 : [Left part] Traditional approach: a dedicated U-Net is trained to separate a specific source. [Right part] Our proposition based on conditioning learning. The problem is divided in two: a standard U-Net (which provides generic source separation filters) and a control mechanism. This divis

実験結果

リサーチクエスチョン

• RQ1 単一の条件付き U-Net が、MUSDB18 におけるボーカル、ドラム、ベース、Rest の4つの専用 U-Net の性能と同等になり得るか？
• RQ2 FiLM simple と FiLM complex 層の使用が、多楽器分離性能に与える影響はどのようか？
• RQ3 漸進的訓練は、非漸進的訓練と比較してマルチタスクの C-U-Net の性能を改善するか？
• RQ4 楽器の数が増えると、C-U-Net のパラメータ数とスケーラビリティは専用モデルとどう比較されるか？

主な発見

• C-U-Net は、楽器を横断して専用の Fix-U-Nets と同等の性能を達成し、FiLM simple 層は複雑な層と同等の性能を示す。
• 漸進的訓練は性能を向上させ、特に FiLM simple 設定で顕著である。
• C-U-Nets は楽器の数に関係なく固定パラメータ数を維持し、別々のモデルに比べて大幅なパラメータ効率を提供する。
• C-U-Net と専用モデルとのピアソン相関は一貫して高く（global corr > 0.9, p < 0.001）、タスクと指標を横断して類似した挙動を示す。
• ボーカル、ドラム、ベース分離では、C-U-Net-CoF 系は固定専用モデルと同等の結果を示す；Rest はより変動が大きく、より多様な楽器組み合わせを反映している。

Figure 2 : [Top part] FiLM simple layer applies the same affine transformation to all the input feature maps $x$ . [Bottom part] In the FiLM complex layer, independent affine transformations are applied to each feature map $c$ .