[論文レビュー] Speech Enhancement using a Deep Mixture of Experts

Shlomo E. Chazan, Jacob Goldberger+1 more|arXiv (Cornell University)|Mar 27, 2017

Speech and Audio Processing参考文献 19被引用数 13

ひとこと要約

本稿では、音声タイプ（特に有声音と無声音のphoneme）に特化した深層ニューラルネットワーク（DNN）エキスパートを訓練することで、未知のノイズに対してより頑健な単一マイク音声強調のためのDeep Mixture of Experts（DMoE）フレームワークを提案する。入力フレームを動的にルーティングするゲーティングネットワークを用い、音声タイプに特化したエキスパートを学習する。音声タイプラベルデータを必要とせず、非教師付きクラスタリングとSPP（音声存在確率）へのソフトアテンションを活用することで、エキスパートとゲートを共同で訓練し、完全結合DNNや先行するMoE手法よりも優れた性能を達成する。

ABSTRACT

In this study we present a Deep Mixture of Experts (DMoE) neural-network architecture for single microphone speech enhancement. By contrast to most speech enhancement algorithms that overlook the speech variability mainly caused by phoneme structure, our framework comprises a set of deep neural networks (DNNs), each one of which is an 'expert' in enhancing a given speech type corresponding to a phoneme. A gating DNN determines which expert is assigned to a given speech segment. A speech presence probability (SPP) is then obtained as a weighted average of the expert SPP decisions, with the weights determined by the gating DNN. A soft spectral attenuation, based on the SPP, is then applied to enhance the noisy speech signal. The experts and the gating components of the DMoE network are trained jointly. As part of the training, speech clustering into different subsets is performed in an unsupervised manner. Therefore, unlike previous methods, a phoneme-labeled database is not required for the training procedure. A series of experiments with different noise types verified the applicability of the new algorithm to the task of speech enhancement. The proposed scheme outperforms other schemes that either do not consider phoneme structure or use a simpler training methodology.

研究の動機と目的

• 従来のDNNが入力の変動性により性能が低下する非定常的かつ未知のノイズ環境における音声強調の課題に対処すること。
• トレーニングとテストの条件に不一致が生じる際、音声変動性に対処しきれない完全結合DNNの限界を克服すること。
• 音声タイプラベル付きデータセットの必要性を排除し、トレーニング中に音声をエキスパート固有のタイプに非教師付きクラスタリングすることで、音声タイプのラベルなしに学習可能にすること。
• 発音の構造（有声音／無声音）に基づくエキスパート特化を活用することで、音声存在確率（SPP）推定とスペクトル減衰の質を向上させること。
• 音声認識システムや事前ラベル付きフォネムを必要とせず、微分可能フレームワークを用いてゲートネットワークとエキスパートを同時に訓練すること。

提案手法

• 本フレームワークは、特定の音声タイプ（例：有声音または無声音のphoneme）に特化したDNNエキスパートの混合を採用し、音声特徴の非教師付きクラスタリングにより学習する。
• 別個のゲーティングDNNがノイズの入力のMFCC特徴を入力とし、各入力フレームを最も関連性の高いエキスパートに割り当てるソフトアテンション重みを出力する。
• 最終的なSPPは、ゲーティングネットワークの出力で重み付けされたエキスパート予測の加重平均として計算される。
• スペクトル減衰は、SPPから導出されるソフトマスクを用いて実行され、音楽ノイズを回避する滑らかな強調が可能になる。
• エキスパートとゲートを含むDMoEアーキテクチャ全体が、音声タイプラベルを一切必要としない微分可能損失関数を用いてエンド・ツー・エンドで訓練される。
• トレーニングプロセスには、エキスパート固有の音声タイプを定義する非教師付き音声クラスタリングが含まれており、事前の言語的監視なしに構造を学習可能である。

実験結果

リサーチクエスチョン

• RQ1 音声の内在的変動性を活用することで、未知のノイズ環境における音声強調の頑健性がMixture of Expertsアーキテクチャによって向上するか？
• RQ2 有声音対無声音などのエキスパート固有タイプに分類される音声セグメントの非教師付きクラスタリングは、完全結合DNNよりも優れた一般化性能をもたらすか？
• RQ3 フォネムレベルの監視なしに、エンド・ツー・エンドで訓練されたゲーティングネットワークは、適切なエキスパートに音声フレームをルーティングできるか？
• RQ4 発音構造（有声音／無声音）に基づくエキスパート特化は、SPP推定とスペクトル減衰の質にどのように影響するか？
• RQ5 DMoEフレームワークは、客観的および主観的指標において、既存のDNNベースおよびMoEベースの音声強調手法をどの程度上回るか？

主な発見

• DMoEモデルは、複数のノイズタイプにおいて、完全結合DNNおよび先行するMoEベース手法よりも、客観的（PESQ）および主観的音声品質指標で優れた性能を発揮する。
• 30個のエキスパートを用いたDMoEモデルは、バブルノイズ下でのTIMITデータセットでPESQスコア2.85を達成し、単一エキスパートベースラインや他のSOTA手法を顕著に上回る。
• ゲーティングネットワークは、フォネムラベルなしでも、有声音フレームを1つのエキスパート、無声音フレームを別のエキスパートにルーティングする能力を学習しており、非教師付き構造発見の有効性を示している。
• 特に非定常的ノイズ（例：工場ノイズ）下でも、エキスパート特化のおかげでSPP推定がより正確かつ頑健になる。
• トレーニング時に見られなかった新しいノイズタイプのテストでも、高い性能を維持しており、強力な一般化能力を示している。
• アブレーションスタディでは、エキスパートに情報のない入力（すなわちMFCCなし）であっても、ゲートが活性化している場合に意味のあるSPP推定が得られることを確認しており、ゲートの構造的ルーティング機能の重要性を裏付けている。