[論文レビュー] Multi-Objective Learning and Mask-Based Post-Processing for Deep Neural Network Based Speech Enhancement

Yong Xu, Jun Du+3 more|arXiv (Cornell University)|Mar 21, 2017

Speech and Audio Processing参考文献 29被引用数 32

ひとこと要約

本稿では、音声品質を向上させるために、クリアなログパワースペクトル（LPS）、メル周波数ケプストラム係数（MFCC）、および理想バイナリマスク（IBM）を同時に最適化するマルチオブジェクティブなディープラーニングフレームワークを提案する。副次的ターゲットを損失関数に統合することで、LPS推定が向上し、IBMに基づくポストプロセッシングが可能となり、SSNRが1.5 dB向上し、特に低SNR条件下でPESQ/STOIスコアが向上する。

ABSTRACT

We propose a multi-objective framework to learn both secondary targets not directly related to the intended task of speech enhancement (SE) and the primary target of the clean log-power spectra (LPS) features to be used directly for constructing the enhanced speech signals. In deep neural network (DNN) based SE we introduce an auxiliary structure to learn secondary continuous features, such as mel-frequency cepstral coefficients (MFCCs), and categorical information, such as the ideal binary mask (IBM), and integrate it into the original DNN architecture for joint optimization of all the parameters. This joint estimation scheme imposes additional constraints not available in the direct prediction of LPS, and potentially improves the learning of the primary target. Furthermore, the learned secondary information as a byproduct can be used for other purposes, e.g., the IBM-based post-processing in this work. A series of experiments show that joint LPS and MFCC learning improves the SE performance, and IBM-based post-processing further enhances listening quality of the reconstructed speech.

研究の動機と目的

• クリアなLPS予測を超える副次的ターゲットを統合することで、DNNベースの音声強調を改善すること。
• 従来のDNNがLPSにおける平均二乗誤差のみを最適化するため、音声歪みや過剰・不足推定が生じるという限界を是正すること。
• 補助的連続的（MFCC）およびカテゴリカル（IBM）ターゲットが、主なLPS推定および知覚的品質の向上に寄与するかどうかを検討すること。
• IBMに基づくポストプロセッシングが、特に高SNR領域で音声歪みを低減する効果を評価すること。
• LPS、MFCC、IBMの共同学習が、優れた客観的および主観的音声品質指標をもたらすことを実証すること。

提案手法

• マルチオブジェクティブ損失関数が、LPS予測誤差、MFCC予測誤差、およびIBM分類誤差を組み合わせ、DNNパラメータを同時に最適化する。
• MFCCとIBMのための補助出力ヘッドをDNNアーキテクチャに追加することで、共有特徴表現を用いたエンドツーエンド学習を可能にする。
• IBMは、クリアなスペクトルとノイズスペクトルから導出される、音声優勢またはノイズ優勢の時間周波数ユニットを示すバイナリマスクとして計算される。
• ポストプロセッシングでは、DNNが推定したLPSに予測されたIBMを適用してスペクトル推定値を精緻化し、過剰または不足推定を低減する。
• 入力および出力特徴の正規化に、グローバルな平均と分散を用いることで、学習安定性と一般化性能が向上する。
• フレームワークは、LPSおよびMFCCには平均二乗誤差（MSE）、IBMには交差エントロピーを用い、ハイパーパrameterで重み付けされた損失関数で学習される。

実験結果

リサーチクエスチョン

• RQ1 MFCCとIBMの共同学習が、DNNベース音声強調におけるLPS推定の正確性を向上させるか？
• RQ2 学習目的にカテゴリカル情報（IBM）を組み込むことで、一般化性能が向上し、音声歪みが低減するか？
• RQ3 IBMに基づくポストプロセッシングは、直接DNN出力と比較して、SSNRやPESQといった客観的指標にどの程度向上効果をもたらすか？
• RQ4 MFCCとIBMの併用による補助ターゲットは、個別またはベースラインDNNアプローチと比較して、音声品質および聞き取りやすさにどの程度優れているか？
• RQ5 マルチオブジェクティブアプローチは、多様なノイズ環境およびSNRレベルにおいても頑健であるか？

主な発見

• LPSとIBMの共同予測により、SNR=0 dBでSSNRが-0.084 dBから0.251 dBに向上し、DNNベースラインに比べ顕著な向上が確認された。
• IBMに基づくポストプロセッシングのみで、SNR=20 dBでSSNRが3.814 dB向上し、残存ノイズの強力な抑制と音声歪みの低減が示された。
• MFCC+IBM+ポストプロセッシング（PP）システムでは、ベースラインの3.664 dBから平均で5.194 dBにSSNRが向上し、マルチオブジェクティブ学習とポストプロセッシングによる累積的利得が確認された。
• PESQはSNR=-5 dBで0.626ポイント向上し、全SNR範囲でSTOIが0.03向上し、知覚的品質および聞き取りやすさに顕著な向上が確認された。
• 提案されたMFCC+IBM+PPシステムは、全SNRレベルでLogMMSEを上回り、特に低SNR条件下でSTOIが0.163ポイント、PESQが0.626ポイント向上した。
• スペクトログラムの可視化により、特に高SNR領域でノイズが低減され、子音領域での音声歪みが減少していることが確認され、IBMポストプロセッシングの有効性が裏付けられた。