[論文レビュー] Mixture of Inference Networks for VAE-based Audio-visual Speech Enhancement

Mostafa Sadeghi, Xavier Alameda-Pineda|arXiv (Cornell University)|Dec 23, 2019

Speech and Audio Processing参考文献 46被引用数 24

ひとこと要約

本稿では、音声と視覚モダリティの推論を混合する2つのモダリティ固有のエンコーダーを用いて分離することで、音声・視覚音声強調の性能を向上させるため、変分オートエンコーダーにおける推論ネットワークの混合（MIN-VAE）を提案する。この手法は共有デコーダーを用い、潜在変数の混合を学習することで、音声と視覚情報の適応的融合を可能にし、ノイズデータを訓練時に必要としない堅牢な教師なし音声強調を実現する。従来の音声のみや標準的な音声・視覚VAEベースラインに比べて優れた性能を達成する。

ABSTRACT

In this paper, we are interested in unsupervised (unknown noise) audio-visual speech enhancement based on variational autoencoders (VAEs), where the probability distribution of clean speech spectra is simulated using an encoder-decoder architecture. The trained generative model (decoder) is then combined with a noise model at test time to estimate the clean speech. In the speech enhancement phase (test time), the initialization of the latent variables, which describe the generative process of clean speech via decoder, is crucial, as the overall inference problem is non-convex. This is usually done by using the output of the trained encoder where the noisy audio and clean visual data are given as input. Current audio-visual VAE models do not provide an effective initialization because the two modalities are tightly coupled (concatenated) in the associated architectures. To overcome this issue, inspired by mixture models, we introduce the mixture of inference networks variational autoencoder (MIN-VAE). Two encoder networks input, respectively, audio and visual data, and the posterior of the latent variables is modeled as a mixture of two Gaussian distributions output from each encoder network. The mixture variable is also latent, and therefore the inference of learning the optimal balance between the audio and visual inference networks is unsupervised as well. By training a shared decoder, the overall network learns to adaptively fuse the two modalities. Moreover, at test time, the visual encoder, which takes (clean) visual data, is used for initialization. A variational inference approach is derived to train the proposed generative model. Thanks to the novel inference procedure and the robust initialization, the proposed MIN-VAE exhibits superior performance on speech enhancement than using the standard audio-only as well as audio-visual counterparts.

研究の動機と目的

• 標準的な音声・視覚VAEの限界、すなわち、音声・視覚エンコーダーが密に結合されているために推論時における潜在変数の初期化が最適でない問題に対処すること。
• 訓練時にノイズデータを必要とせず、音声と視覚モダリティの適応的融合を可能にすることで、教師なし音声・視覚音声強調を向上させること。
• モダリティ固有の推論ネットワークと潜在変数の事後分布推定のための混合メカニズムを同時に学習する変分推論フレームワークを構築すること。
• テスト時にクリアな視覚データを用いて潜在空間を初期化することで、非凸最適化における推論の安定性と性能を向上させること。
• 生成モデルと頑健なマルチモーダル推論を組み合わせることで、未知のノイズ条件下で最先端の性能を達成すること。

提案手法

• 音声と視覚入力を別々に処理する2つの独立したエンコーダーを備えた推論ネットワークの混合（MIN-VAE）を導入し、潜在変数の2つのガウス事後分布を生成する。
• 潜在変数の事後分布を2つのガウス分布の混合としてモデル化し、混合重みを潜在的なベルヌーイ変数として学習することで、モダリティ間の教師なし適応的融合を可能にする。
• 共有デコーダーを用いて潜在変数からクリアな音声スペクトログラムを再構築し、モダリティ間で一貫した生成モデルを保証する。
• EMに類似した変分推論を適用：Eステップでは、メトロポリス・ハスティングスサンプリングを用いて潜在変数の事後分布を近似し、視覚エンコーダーの出力を初期化に用いる。
• Mステップでは、乗法的更新を用いて変分下界を最大化するように、モデルパラメータ（デコーダー重み、ノイズパラメータ、混合事前分布）を更新する。
• テスト時には、視覚エンコーダーの出力を用いて潜在変数を初期化することで、音声がノイズ混じりであっても堅牢な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 VAEフレームワーク内で音声と視覚の推論を分離することで、潜在変数の初期化が改善され、音声強調性能が向上するか？
• RQ2 学習可能な推論ネットワークの混合は、連結エンコーダーと比較して、音声と視覚モダリティの融合をより効果的に行えるか？
• RQ3 提案されたMIN-VAEは、未知のノイズ条件下で教師なし音声・視覚音声強調において優れた性能を達成できるか？
• RQ4 視覚データを用いた潜在変数初期化が、推論の安定性と再構築品質に与える影響は何か？
• RQ5 提案手法は、教師ありおよび標準的な教師なしベースラインと比較して、未観測のノイズタイプにどの程度一般化できるか？

主な発見

• 提案されたMIN-VAEは、未観測のノイズタイプにおいて、音声のみVAEおよび標準的な音声・視覚VAEベースラインに比べて優れた音声強調性能を達成する。
• 視覚エンコーダーの出力を初期化に用いることで、視覚データが完全に同期されていなくても、ノイズや劣化した視覚入力に対しても頑健であることが示された。
• モダリティ固有のエンコーダーと学習可能な混合メカニズムの併用により、推論時に音声と視覚情報のより効果的かつ適応的な統合が可能になった。
• メトロポリス・ハスティングスサンプリングを用いた変分推論手順により、非凸最適化の課題にもかかわらず、安定した事後分布近似が実現された。
• 定量的評価では、特に低SNR条件下でPESQおよびSTOIスコアがベースラインを顕著に上回り、提案アーキテクチャの有効性が確認された。
• 無教師学習の訓練パラダイムとモダリティ分離表現学習のおかげで、未観測のノイズタイプに対しても良好な一般化性能を示した。