[論文レビュー] Source Separation with Deep Generative Priors

Vivek Jayaram, John Thickstun|arXiv (Cornell University)|Feb 19, 2020

Speech and Audio Processing参考文献 57被引用数 10

ひとこと要約

本稿では、事前学習済みの深層生成モデルを事前分布として用いるベイジアン音源分離手法を提案する。混合信号が1つである場合に、後方分布からのサンプリングを可能にするノイズ・アンニュールド・ランジュバン・ダイナミクス（BASIS）を用いることで、MNISTでは最先端の結果を達成し、CIFAR-10およびLSUNでも優れた性能を示す。再訓練を必要とせず、現実的で多様な分離結果が得られ、評価指標も向上している。

ABSTRACT

Despite substantial progress in signal source separation, results for richly structured data continue to contain perceptible artifacts. In contrast, recent deep generative models can produce authentic samples in a variety of domains that are indistinguishable from samples of the data distribution. This paper introduces a Bayesian approach to source separation that uses generative models as priors over the components of a mixture of sources, and noise-annealed Langevin dynamics to sample from the posterior distribution of sources given a mixture. This decouples the source separation problem from generative modeling, enabling us to directly use cutting-edge generative models as priors. The method achieves state-of-the-art performance for MNIST digit separation. We introduce new methodology for evaluating separation quality on richer datasets, providing quantitative evaluation of separation results on CIFAR-10. We also provide qualitative results on LSUN.

研究の動機と目的

• 画像や音声などの豊かで構造的なデータにおける音源分離の際の目立つアーティファクトの問題に取り組むこと。
• 事前学習済みの生成モデルを事前分布として用いることで、音源分離と生成モデル学習を分離すること。
• 豊かなデータ分布における曖昧で特定不能な音源分離のための堅牢な評価フレームワークを開発すること。
• 決定的回帰に依存するのではなく、妥当な音源分解のサンプリングに基づく推論を可能にすること。
• SOTAの生成モデルを用いて、MNIST、CIFAR-10、LSUNを含む多様なデータセットで本手法の有効性を実証すること。

提案手法

• 音源成分の事前分布 $p(\mathbf{x})$ として、尤度ベースの深層生成モデル（例：NCSN や Glow）を用いる。
• 観測された混合信号 $\mathbf{m}$ における後方分布 $p(\mathbf{x}|\mathbf{m})$ からのサンプリングに、ノイズ・アンニュールド・ランジュバン・ダイナミクス（BASIS）を適用する。
• ベイズの定理により後方分布を定義する：$p(\mathbf{x}|\mathbf{m}) \propto p(\mathbf{m}|\mathbf{x}) p(\mathbf{x})$。ここで $p\left(\mathbf{m}|\mathbf{x}\right)$ は線形混合モデル $\mathbf{m} = \sum_{i=1}^k \alpha_i \mathbf{x}_i$ から導出される。
• 徐々にノイズを減少させるスコアベースのサンプリングにより、後方分布を探索し、多様で高品質な音源再構成を生成する。
• 生成モデルのアーキテクチャを変更せず、SOTA モデルと即座に統合可能な「プラグアンドプレイ」の使い方を可能にする。
• グレースケール画像を色チャンネルの混合とみなすことにより、色再構成への応用を拡張し、同じ事前分布モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 画像のような高次元で曖昧なデータにおいて、深層生成モデルを事前分布として用いることで音源分離の性能向上が図れるか？
• RQ2 特に豊かなデータ分布において、真の成分が特定不能な場合に、音源分離をどのように評価すべきか？
• RQ3 ノイズ・アンニュールド・ランジュバン・ダイナミクスによるサンプリングに基づく推論は、決定的回帰に比べてより現実的で多様な音源分離を達成できるか？
• RQ4 分離の品質は、生成事前分布の質に依存するのか、それとも推論アルゴリズムの質に依存するのか？
• RQ5 同じ生成モデルを音源分離と画像の色再構成の両方で使用でき、手法の汎用性を示せるか？

主な発見

• MNISTでは、後方分布からのサンプリングにより最先端の性能を達成し、複数の妥当な分離結果を捉え、図1のオレンジ色で強調された曖昧なケースも含む。
• CIFAR-10では、NCSN を事前分布として用い、クラスに依存しない設定で Inception Score が 8.29 ± 0.16、FID が 22.12 となり、先行手法を上回った。
• 色再構成の分野では、NCSN を用いた分離により Inception Score が 10.53 ± 0.17、FID が 11.58 となり、実際の CIFAR-10 画像（IS: 11.24、FID: 0.00）に近い性能を達成した。
• LSUNの分離結果から、分離された成分の平均対数尤度が実画像と同等であることが示され、アーティファクトは生成モデルの問題に起因するものであり、分離アルゴリズムの問題ではないことが示された。
• 生成事前分布のアーキテクチャを最小限に変更することで、画像分離、色再構成、複数カテゴリ混合など、多様なデータタイプで一貫した性能を発揮した。
• 提案された評価手法は、豊かなデータにおける音源の特定不能性を的確に捉えており、真のラベルとの厳密な比較を超えた評価を可能にした。