[論文レビュー] End-to-End Multi-Task Denoising for joint SDR and PESQ Optimization

Jaeyoung Kim, Mostafa El‐Khamy+1 more|arXiv (Cornell University)|Jan 26, 2019

Speech and Audio Processing参考文献 25被引用数 24

ひとこと要約

本論文は、スペクトル不一致を回避するため、ISTFT後に時間領域信号で訓練することによって、SDRおよびPESQの両方を同時に最適化するエンドツーエンドのマルチタスクノイズ除去フレームワークを提案する。SDRおよびPESQの直接最適化を可能にする新規の損失関数を導入し、従来のスペクトルベース手法や生成モデルを大きく上回る顕著な改善を達成した。

ABSTRACT

Supervised learning based on a deep neural network recently has achieved substantial improvement on speech enhancement. Denoising networks learn mapping from noisy speech to clean one directly, or to a spectrum mask which is the ratio between clean and noisy spectra. In either case, the network is optimized by minimizing mean square error (MSE) between ground-truth labels and time-domain or spectrum output. However, existing schemes have either of two critical issues: spectrum and metric mismatches. The spectrum mismatch is a well known issue that any spectrum modification after short-time Fourier transform (STFT), in general, cannot be fully recovered after inverse short-time Fourier transform (ISTFT). The metric mismatch is that a conventional MSE metric is sub-optimal to maximize our target metrics, signal-to-distortion ratio (SDR) and perceptual evaluation of speech quality (PESQ). This paper presents a new end-to-end denoising framework with the goal of joint SDR and PESQ optimization. First, the network optimization is performed on the time-domain signals after ISTFT to avoid spectrum mismatch. Second, two loss functions which have improved correlations with SDR and PESQ metrics are proposed to minimize metric mismatch. The experimental result showed that the proposed denoising scheme significantly improved both SDR and PESQ performance over the existing methods.

研究の動機と目的

• STFTベースの変更がISTFT後に完全に回復できないという、音声強調におけるスペクトル不一致問題に対処する。
• MSE損失をSDRおよびPESQに基づく損失関数に置き換えることで、評価指標との不一致を解消し、より人間の聴覚的品質に近い指標に適合させる。
• 訓練と評価の整合性を保つために、ISTFT後に再構築された時間領域信号を用いた時間領域最適化フレームワークを構築する。
• SDRおよびPESQを同時に最適化することで、全体的な音声品質および話者の理解性を向上させる。
• 標準ベンチマーク上での既存の教師ありモデルおよび生成モデルを上回る優れた性能を示す。

提案手法

• マスク予測後にISTFTで再構築された時間領域信号上でノイズ除去ネットワークを訓練し、スペクトル不一致を回避する。
• アスペクト比に依存しないSDR損失関数を定義し、SDR指標のアスペクト比スケーリングに対するロバスト性を反映させる。
• 最適化のための近似として、対称的および非対称な摂動を仮定し、PESQ指標を微分可能損失関数に再定式化する。
• SDRおよびPESQ損失を組み合わせてマルチタスク学習の目的関数とし、両指標を同時に最適化する。
• 2段階のSTFTプロセスを採用：1つはマスク推定用、もう1つは再構築された時間領域信号上でPESQ損失を計算するため。
• 訓練中に反復的グリフィン・リム法を適用して位相推定を精緻化するが、単一反復が単一音源ノイズ除去において最適であることが判明。

実験結果

リサーチクエスチョン

• RQ1 ISTFT後に再構築された時間領域信号上で訓練することで、STFTベースの音声強調におけるスペクトル不一致が解消されるか？
• RQ2 SDRおよびPESQがエンドツーエンド学習における微分可能損失関数として効果的に使用可能か？
• RQ3 SDRおよびPESQの共同最適化は、MSEまたは個別の指標最適化よりも優れた性能をもたらすか？
• RQ4 生成モデル（例：GAN）と比較して、提案手法の損失ベースの学習は、客観的音声品質指標において優れているか？
• RQ5 単一音源ノイズ除去設定において、訓練時のグリフィン・リム反復回数の最適値は何か？

主な発見

• 提案されたSDR-PESQ共同損失関数は、VoiceBank-DEMANDコーパスでPESQスコア3.01を達成し、SEGAN、TF-GAN、DCUnet-20を含むすべての比較生成モデルを上回った。
• 同じコーパスでSDRは10.44 dBを達成し、次に優れた手法（DCUnet-20：9.96 dB）を著しく上回り、MSEベースのベースラインより顕著な向上を示した。
• PESQ損失関数は効果的な正則化子として機能し、L1またはL2正則化よりも未知のデータへの一般化性能が優れていた。
• 反復的グリフィン・リム法は1回の反復を超えて性能向上をもたらさず、単一ステップ再構築が最高のSDR（12.59 dB）およびPESQ（1.953）スコアを達成した。
• 重み付きSDR損失ベースライン（WSDR）と比較して、SDR-PESQ共同損失はPESQおよびSSNRの両面で優れており、マルチタスク指標最適化の利点を裏付けた。
• 本フレームワークは、客観的指標および主観的品質指標（CSIG、CBAK、COVL）の両方で最先端の性能を達成し、堅牢性および一般化性能を示した。