[論文レビュー] Components Loss for Neural Networks in Mask-Based Speech Enhancement

Ziyi Xu, Samy Elshamy+2 more|arXiv (Cornell University)|Aug 14, 2019

Speech and Audio Processing参考文献 41被引用数 6

ひとこと要約

本論文は、マスクベースの音声強調におけるニューラルネットワークの訓練のための新しいコンponents損失（CL）を提案する。これにより、音声品質、ノイズ抑制、自然な残余ノイズのそれぞれを別々に最適化できる。CLは、MSE、PESQ、STOIといった標準的な損失関数を上回り、見慣れたノイズタイプではPESQを最低0.1ポイント以上、SNRを0.5 dB以上向上させる。未観測のノイズタイプでは、さらに高い向上効果を示す。

ABSTRACT

Estimating time-frequency domain masks for single-channel speech enhancement using deep learning methods has recently become a popular research field with promising results. In this paper, we propose a novel components loss (CL) for the training of neural networks for mask-based speech enhancement. During the training process, the proposed CL offers separate control over preservation of the speech component quality, suppression of the residual noise component, and preservation of a naturally sounding residual noise component. We illustrate the potential of the proposed CL by evaluating a standard convolutional neural network (CNN) for mask-based speech enhancement. The new CL obtains a better and more balanced performance in almost all employed instrumental quality metrics over the baseline losses, the latter comprising the conventional mean squared error (MSE) loss and also auditory-related loss functions, such as the perceptual evaluation of speech quality (PESQ) loss and the recently proposed perceptual weighting filter loss. Particularly, applying the CL offers better speech component quality, better overall enhanced speech perceptual quality, as well as a more naturally sounding residual noise. On average, an at least 0.1 points higher PESQ score on the enhanced speech is obtained while also obtaining a higher SNR improvement by more than 0.5 dB, for seen noise types. This improvement is stronger for unseen noise types, where an about 0.2 points higher PESQ score on the enhanced speech is obtained, while also the output SNR is ahead by more than 0.5 dB. The new proposed CL is easy to implement and code is provided at https://github.com/ifnspaml/Components-Loss.

研究の動機と目的

• MSE、PESQ、STOIといった標準的な損失関数が、知覚的音声品質や残余ノイズ特性の最適化において抱える限界を解消すること。
• MSEによる学習が低SNR条件下で発生する音声の抑制効果（ミューティング効果）を克服すること。
• 音声成分の品質、残余ノイズの抑制、残余ノイズの知覚的自然さという3つの主要な要素を独立して制御できること。
• インstrumental指標の性能向上を図りつつ、知覚的品質を損なわず、不自然なアーチファクトを導入しないこと。
• 既存のディープラーニングフレームワークに簡単に統合できる、シンプルでモジュラーな損失関数を提供すること。

提案手法

• 音声品質、ノイズ抑制、残余ノイズの自然さという3つの異なる成分に訓練目的を分解する新しい損失関数、コンポーネント損失（CL）を提案する。
• 各成分ごとに別々の損失項を定義する：音声領域における歪みの最小化（音声の詳細を保持）、残余ノイズエネルギーの抑制、知覚的重み付けモデルを用いた知覚的に自然な残余ノイズの確保。
• トレーニング中のトレードオフを調整するために、学習可能なまたは固定された重み係数を用いて3つの成分を統合された損失関数に統合する。
• ノイズスペクトログ램から時間周波数マスクを予測する標準的なCNNアーキテクチャにCLを適用する。
• 勾配ベースの最適化を保証するために、知覚的指標（例：STOIやPESQ）の微分可能近似を用いる一方で、完全な微分可能性を維持する。
• トレーニングの安定化を図るため、CLに加えて小さなMSE項を組み合わせてネットワークを学習するが、主な最適化は成分固有の目的関数に依存する。

実験結果

リサーチクエスチョン

• RQ1 音声品質、ノイズ抑制、残余ノイズの自然さを別々に最適化する損失関数が、全体の音声強調性能を向上させることができるか？
• RQ2 提案されたコンポーネント損失（CL）は、特に低SNR条件下で観察されるMSE学習モデルのミューティング効果を軽減するか？
• RQ3 PESQやSTOIといった最先端の知覚的損失関数と比較して、CLはPESQおよびSNRの向上においてどの程度優れているか？
• RQ4 CLは、学習データに含まれない未観測のノイズタイプに対してもどの程度一般化できるか？
• RQ5 CLは、既存のディープラーニングパイプラインに簡単に実装・統合できるか？

主な発見

• 見慣れたノイズタイプでは、CLはベースライン損失関数と比較して、強調音声のPESQスコアを最低0.1ポイント以上向上させる。
• 見慣れたノイズタイプでは、出力SNRが0.5 dB以上向上し、ノイズ抑制と信号の保持の両面で優れた性能を示す。
• 未観測のノイズタイプでは、PESQの向上が約0.2ポイントにまで増加し、優れた一般化能力を示す。
• 未観測のノイズタイプに対してもSNR向上が0.5 dBを超えるため、多様なノイズ環境下でも堅牢であることが確認された。
• CLは、より自然に聞こえる残余ノイズをもたらし、知覚的品質の向上と不自然なアーチファクトの低減によって裏付けられた。
• 本手法は実装が簡単であり、GitHubにコードが公開されており、研究コミュニティにおける採用と再現性を促進している。