[論文レビュー] Generative Adversarial Source Separation

Cem Subakan, Paris Smaragdis|arXiv (Cornell University)|Oct 30, 2017

Speech and Audio Processing参考文献 5被引用数 8

ひとこと要約

本論文では、従来の生成モデル（NMF や最尤推定オートエンコーダー）に代わり、Wasserstein GAN（WGAN）を音声源分離に用いる手法を提案している。WGAN損失で訓練された2層パーセプトロンが、出力分布のパrametricな仮定をしないまま、音声源分離の性能を向上させ、音源対歪み比（SDR）においてベースラインを上回ることを示している。

ABSTRACT

Generative source separation methods such as non-negative matrix factorization (NMF) or auto-encoders, rely on the assumption of an output probability density. Generative Adversarial Networks (GANs) can learn data distributions without needing a parametric assumption on the output density. We show on a speech source separation experiment that, a multi-layer perceptron trained with a Wasserstein-GAN formulation outperforms NMF, auto-encoders trained with maximum likelihood, and variational auto-encoders in terms of source to distortion ratio.

研究の動機と目的

• 出力分布に明示的なパラメトリックな仮定（例：ポisson分布やガウス分布のノイズモデル）を必要とする生成的源分離モデルの限界を解消すること。
• 生成的対抗ネットワーク（GAN）のうち、特にWasserstein GANの形式が、このような仮定なしに音声スペクトログラムのデータ分布をより正確に学習できるかを調査すること。
• WGANベースのモデルが、標準的なNMF、最尤推定オートエンコーダー、および変分オートエンコーダーと比較して、音声源分離タスクでどのように性能を発揮するかを比較すること。
• 特に、標準GANが学習が難しいと知られているのに対し、対抗的学習の安定性と有効性が音声モデリングにおいてどのように評価できるかを検討すること。
• GANのディスクライマーが、意味のある再構成メトリクスを学習することで、源分離に暗黙的に寄与することを示すこと。

提案手法

• 生成器は、重み $ W_1 $ および $ W_2 $ でパラメータ化された、513次元の潜在ベクトルをマグニチュードスペクトログラムフレームに写像する2層パーセプトロンで構成され、ソフトプラス非線形性を用いる。
• 生成器の入力として、WGAN設定ではガウスノイズ（513次元）を用い、オートエンコーディング変種では実際の源スペクトログラムを生成器の入力として用いる。
• クリティックネットワークは、ReLUおよびシグモイド活性化関数を用いた2層のフィードフォワードネットワークであり、WGANでは最終層に恒等関数を用いて勾配安定性を確保する。
• WGANの学習では、Lipschitz制約を満たすために重みクリッピングを用い、クリティックのパラメータを -0.01 から 0.01 の範囲に制限する。
• 生成器は、実データにおけるクリティック出力を最小化し、生成データにおける出力を最大化するように訓練され、勾配ペナルティはクリッピングによって暗黙的に強制されるミニマックス目的を用いる。
• すべてのモデルは、固定学習率 0.001 を用いたRMSpropで訓練され、ディスクライマーは生成器の更新ごとに5回更新される。

実験結果

リサーチクエスチョン

• RQ1 WGANベースの生成モデルは、NMF や最尤推定オートエンコーダーといった従来の最尤ベースモデルに比べ、音声源分離で優れた性能を示せるか？
• RQ2 GANが出力分布のパラメトリックな仮定をしないことで、ポisson やガウス分布のノイズ仮定を持つモデルと比較して、スペクトログラム分布のモデリングが向上するか？
• RQ3 標準GANとより安定性に優れたWGANの形式とを比較した場合、音声源分離タスクにおける性能にどのような差が生じるか？
• RQ4 生成器が実データに条件付けられるオートエンコーディングGANは、ノイズに条件付けられるGANと比較して、競争力のある性能を達成できるか？
• RQ5 対抗的学習は、最尤学習と比較して、SDR、SIR、SARといった源分離指標にどの程度向上効果をもたらすか？

主な発見

• ガウスノイズ入力を用いたWasserstein GANが、比較対象のすべてのモデル（NMF、最尤推定オートエンコーダー、変分オートエンコーダー）の中で最高の音源対歪み比（SDR）を達成した。
• 標準GANは、スペクトログラム分布の多様性を捉えるのに不十分で、不安定で一貫性のない分離性能を示し、結果として性能が劣ることが判明した。
• オートエンコーディングWGANは競争力ある性能を示したが、ノイズ条件付きWGANに比べて信頼性が低く、ノイズ条件付き生成が、分離された源のモデリングに適したインダクティブバイアスを提供していることが示唆された。
• 対抗的モデルは一般的に高い音源対干渉比（SIR）を達成しており、干渉成分の効果的な抑制が可能であったが、最尤モデルと比較してわずかに音源対アーチファクト比（SAR）が劣った。
• WGAN形式は、元のGANと比較して滑らかな勾配とより安定した学習を実現しており、音声生成タスクにおける一貫性ある性能発揮に不可欠であった。
• 結果から、WGANはスペクトログラム空間における複雑で非パラメトリックなデータ分布を効果的に学習できることを示しており、源分離において最尤モデルの強力な代替手段であることが明らかになった。