[論文レビュー] Semi-blind source separation with multichannel variational autoencoder

Hirokazu Kameoka, Li Li+2 more|arXiv (Cornell University)|Aug 2, 2018

Speech and Audio Processing参考文献 23被引用数 36

ひとこと要約

本稿では、分類条件付き生成を用いた条件付き変分オートエンコーダ（CVAE）を用いて音源のパワースペクトログラムをモデル化する、マルチチャネル変分オートエンコーダ（MVAE）を提案する。この手法により、スペクトログラムと分離行列を繰り返し推定することで収束保証付きの半盲的音源分離が可能となる。MVAEは、非反響および反響環境の両方で、ベースラインのILRMAを上回る分離品質を示し、収束保証付きの深層生成モデリングによる優れた性能を実証している。

ABSTRACT

This paper proposes a multichannel source separation technique called the multichannel variational autoencoder (MVAE) method, which uses a conditional VAE (CVAE) to model and estimate the power spectrograms of the sources in a mixture. By training the CVAE using the spectrograms of training examples with source-class labels, we can use the trained decoder distribution as a universal generative model capable of generating spectrograms conditioned on a specified class label. By treating the latent space variables and the class label as the unknown parameters of this generative model, we can develop a convergence-guaranteed semi-blind source separation algorithm that consists of iteratively estimating the power spectrograms of the underlying sources as well as the separation matrices. In experimental evaluations, our MVAE produced better separation performance than a baseline method.

研究の動機と目的

• 従来の盲目的音源分離手法が非柔軟なモデル（例：NMF）に依存するか、深層ニューラルネットワークを用いる場合に収束保証がないという限界を克服すること。
• アルゴリズムの収束を保証しつつ、深層生成モデルの表現力を利用できる音源分離フレームワークを開発すること。
• 音源モデルの学習目的を分離アルゴリズムの最適化基準と統一し、性能を向上させること。
• 分類条件付きスペクトログラム生成を用いて、非反響および反響環境の両方で効果的な音源分離を可能にすること。

提案手法

• 本手法は、音源のパワースペクトログラムを、スピーカー識別子などの音源クラスラベルに条件づけてモデル化するため、条件付き変分オートエンコーダ（CVAE）を用いる。
• CVAEは、ラベル付きのトレーニング用スペクトログラム上で学習され、任意のクラスに対してスペクトログラムを合成可能な汎用的生成モデルを学習する。
• 分離アルゴリズムは、潜在変数とクラスラベルを繰り返し推定しながら、固定点更新則を用いて分離行列を更新する。
• アルゴリズムは潜在空間とクラスラベルを未知パrameterとして扱い、収束保証付きで同時に最適化可能となる。
• 最適化中にクラス確率の和が1になる制約を満たすために、ソフトマックス層が用いられる。
• CVAEの生成モデルを半盲的音源分離フレームワークに統合し、VAEの学習目的と分離目的を一致させることで、性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 CVAEのような深層生成モデルを用いて、半盲的音源分離設定において収束を保証する方法で音源スペクトログラムをモデル化できるか？
• RQ2 ILRMAのような従来のNMFベースの手法と比較して、CVAEベースの音源モデルを組み込むことで分離性能が向上するか？
• RQ3 CVAEの学習目的を音源分離の最適化基準と一致させることで、全体の性能が向上するか？
• RQ4 MVAEは、反響時間の異なるさまざまな音響環境下でも性能を発揮するか？
• RQ5 分類条件付き生成を活用することで、未学習の音源信号に対しても一般化が可能か？

主な発見

• MVAEは、すべてのスピーカー対および反響条件において、平均SDR、SIR、SARの観点でILRMAベースラインを顕著に上回った。
• RT60が78 ms（非反響）の条件下でも、MVAEはSDR、SIR、SARの平均値がILRMAを上回り、低反響環境でも頑健であることが示された。
• RT60が351 ms（高反響）の条件下でも、MVAEはILRMAを上回ったが、両手法とも性能が低下しており、反響除去の統合に改善の余地があることが示された。
• 本手法は、NMFの仮定を超える複雑なスペクトログラム構造をCVAEがモデル化できるため、より優れた分離品質を達成した。
• CVAEの学習と音源分離プロセスの間で最適化基準が一貫しているため、アルゴリズムの収束が保証された。
• 分類条件付き生成を活用することで、未学習の音源信号に対しても高品質なスペクトログラムを生成でき、一般化能力を示した。