[論文レビュー] Monaural Speech Enhancement using Deep Neural Networks by Maximizing a Short-Time Objective Intelligibility Measure

Morten Kolbæk, Zheng‐Hua Tan+1 more|arXiv (Cornell University)|Feb 2, 2018

Speech and Audio Processing参考文献 26被引用数 26

ひとこと要約

本稿では、短時間客観的明瞭度（STOI）測定値の近似を最大化することで、直接的に音声明瞭度を最適化するDNNベースのモノラル音声強調システムを提案する。本手法は、エンドツーエンド学習に適した解析的勾配を導出しており、MSEベースのベースラインと比較して顕著な明瞭度の向上を達成している一方で、古典的なDNNベースの短時間スペクトル振幅（STSA）システムと同等の性能を示しており、STSA-DNNが明瞭度の観点ですでにほぼ最適である可能性を示唆している。

ABSTRACT

In this paper we propose a Deep Neural Network (DNN) based Speech Enhancement (SE) system that is designed to maximize an approximation of the Short-Time Objective Intelligibility (STOI) measure. We formalize an approximate-STOI cost function and derive analytical expressions for the gradients required for DNN training and show that these gradients have desirable properties when used together with gradient based optimization techniques. We show through simulation experiments that the proposed SE system achieves large improvements in estimated speech intelligibility, when tested on matched and unmatched natural noise types, at multiple signal-to-noise ratios. Furthermore, we show that the SE system, when trained using an approximate-STOI cost function performs on par with a system trained with a mean square error cost applied to short-time temporal envelopes. Finally, we show that the proposed SE system performs on par with a traditional DNN based Short-Time Spectral Amplitude (STSA) SE system in terms of estimated speech intelligibility. These results are important because they suggest that traditional DNN based STSA SE systems might be optimal in terms of estimated speech intelligibility.

研究の動機と目的

• 音声明瞭度を直接最適化するDNNベースの音声強調システムの開発。
• エンドツーエンドDNN学習に適した解析的勾配を有する近似STOIコスト関数の形式化。
• STOI最適化DNNが従来のMSEベースDNNより音声明瞭度で優れているかどうかの評価。
• 古典的なDNNベースの短時間スペクトル振幅（STSA）システムと比較して、STOI最適化DNNの性能を評価。
• STOIを直接最適化することで、従来のMSEベース学習に比べて顕著な向上が得られるかどうかの検討。

提案手法

• 本手法は、STFTドメインにおける1/3オクターブバンドの短時間時間的エンVELOープに基づき、近似STOIコスト関数を定式化する。
• バックプロパゲーションに基づくDNN学習に使用可能な、近似STOIコストの解析的勾配を導出する。
• DNNアーキテクチャは30フレーム分のSTFT入力を用い、重複するフレームのゲインを推定し、出力ゲインを平均化して強調信号を再構築する。
• 導出された勾配を用いて確率的勾配降下法で学習を行い、STOIに類似した目的関数を最大化する。
• 本手法はSTFTドメインで動作し、スペクトルの大きさを用い、ノイズ混在入力にゲイン関数を適用してクリアな音声を推定する。
• 複数のノイズタイプとSNRにおいて、STOIおよびELC（拡張長時間コherーンス）スコアを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 STOIの近似値を最大化するように学習されたDNNベース音声強調システムは、MSEベースのベースラインよりも高い音声明瞭度を達成できるか？
• RQ2 近似STOIコスト関数の導出された解析的勾配は、安定的かつ効果的な学習を可能にするか？
• RQ3 STOI最適化DNNの性能は、古典的なDNNベースSTSAシステムと比較して明瞭度の観点で優れているか？
• RQ4 一致するノイズ条件と一致しないノイズ条件下で、STOI最適化DNNとMSE最適化DNNの間には顕著な性能差があるか？
• RQ5 STOIを直接最適化することで、従来のMSEベース学習に比べて音声明瞭度で測定可能な向上が得られるか？

主な発見

• 提案されたSTOI最適化DNNシステムは、一致する・一致しないノイズタイプの両方において、推定音声明瞭度（STOI）が顕著に向上し、平均で0.07～0.13のSTOIポイントの向上を達成した。
• 近似STOIコスト関数で学習したシステムは、短時間時間的エンVELOープのMSEコストで学習したシステムと同等の性能を示し、STOI最適化に顕著な利点がないことが示された。
• STOI最適化DNNは、古典的なDNNベースSTSAシステムと同等の性能を示し、BBLノイズ下で-5 dB SNRで最大STOI 0.66、5 dB SNRで0.92を達成した。
• STOI最適化とMSE最適化DNNのゲインベクトル間に高い相関（r > 0.90）が観察され、両者で類似した強調行動を示していることが示された。
• 結果から、従来のDNNベースSTSAシステムは推定音声明瞭度の観点ですでにほぼ最適である可能性があると示唆された。
• 直接STOIを最適化しても、MSEベース学習に比べて顕著な性能向上が得られなかったため、現在のDNNベースSEフレームワークでは明瞭度の向上が飽和している可能性があると示唆された。