[論文レビュー] End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks

Szu‐Wei Fu, Wang, Tao-Wei+3 more|arXiv (Cornell University)|Sep 12, 2017

Speech and Audio Processing参考文献 54被引用数 20

ひとこと要約

本論文は、STOI などの知覚ベース評価指標を直接最適化することで、学習目的と実世界のパフォーマンスのギャップを解消する、エンド・トゥ・エンドの完全畳み込みニューラルネットワーク（FCN）フレームワークを提案する。フレームレベルの損失ではなく発話レベルの最適化を活用することで、従来のMMSE最適化モデルと比較して優れた音声の聞き取りやすさとASRパフォーマンスを達成する。

ABSTRACT

Speech enhancement model is used to map a noisy speech to a clean speech. In the training stage, an objective function is often adopted to optimize the model parameters. However, in most studies, there is an inconsistency between the model optimization criterion and the evaluation criterion on the enhanced speech. For example, in measuring speech intelligibility, most of the evaluation metric is based on a short-time objective intelligibility (STOI) measure, while the frame based minimum mean square error (MMSE) between estimated and clean speech is widely used in optimizing the model. Due to the inconsistency, there is no guarantee that the trained model can provide optimal performance in applications. In this study, we propose an end-to-end utterance-based speech enhancement framework using fully convolutional neural networks (FCN) to reduce the gap between the model optimization and evaluation criterion. Because of the utterance-based optimization, temporal correlation information of long speech segments, or even at the entire utterance level, can be considered when perception-based objective functions are used for the direct optimization. As an example, we implement the proposed FCN enhancement framework to optimize the STOI measure. Experimental results show that the STOI of test speech is better than conventional MMSE-optimized speech due to the consistency between the training and evaluation target. Moreover, by integrating the STOI in model optimization, the intelligibility of human subjects and automatic speech recognition (ASR) system on the enhanced speech is also substantially improved compared to those generated by the MMSE criterion.

研究の動機と目的

• 音声強調におけるモデル最適化基準（例：MMSE）と知覚ベース評価指標（例：STOI）の不一致を解消すること。
• 学習目的を下流の評価指標に合わせることで、音声の聞き取りやすさと自動音声認識（ASR）パフォーマンスを向上させること。
• 個々のフレームではなく、発話全体を最適化するエンド・トゥ・エンドのフレームワークを構築することにより、長距離の時間的依存関係を保持すること。
• FCNを用いたSTOIの直接最適化が、客観的および主観的な音声品質に顕著な向上をもたらすことを実証すること。
• 発話ベースの最適化が、音声認識や知覚システムの性能向上に有効であることを検証すること。

提案手法

• フレームレベルの処理を回避するため、生波形入力をエンド・トゥ・エンドで処理する完全畳み込みニューラルネットワーク（FCN）を採用する。
• フレームレベルのMMSE損失の代わりに、発話レベルでShort-Time Objective Intelligibility（STOI）指標を直接最適化する。
• 評価関数を逆伝播可能にするために、STOI指標に微分可能近似を適用する。
• 強化された音声とクリアな音声間のSTOIを最大化する損失関数を用いてネットワークを学習させ、長期的な時間的相関を捉える。
• 波形の時間的順序を保持するため、自己回帰的動作を確保するための因果的畳み込み（causal convolutions）を採用する。
• 音声強調と聞き取りやすさの両方を同時に最適化でき、学習を知覚ベース評価に直接一致させることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習中にSTOI指標を直接最適化することで、従来のMMSEベースの学習と比較して音声強調パフォーマンスが向上するか？
• RQ2 発話レベルの最適化は、フレームレベルの最適化と比較して、人間の聴取者やASRシステムにおける聞き取りやすさを向上させるか？
• RQ3 学習目的を評価指標に合わせることで、モデルのパフォーマンスと実世界の応用ニーズのギャップはどの程度縮小されるか？
• RQ4 STOI、聞き取りやすさ、ASR精度の観点から、提案されたFCNベースのフレームワークは、標準のMMSE最適化モデルと比較してどのように異なるか？
• RQ5 微分可能STOIをエンド・トゥ・エンド音声強調システムの学習目的として効果的に使用できるか？

主な発見

• 提案されたSTOI最適化モデルは、MMSE最適化ベースラインと比較して、テストセットで顕著に高いSTOIスコアを達成した。
• 人間の聴取者による評価では、STOI最適化モデルが強化した音声が、MMSE最適化モデルのものよりも聞き取りやすかった。
• 自動音声認識（ASR）システムは、STOI最適化モデルで強化された音声を処理する際、語誤り率（WER）が顕著に改善した。
• 発話レベルの最適化により、長期的な時間的相関が保持され、より自然で聞き取りやすい音声出力が得られた。
• 微分可能近似によるSTOIの直接最適化により、効果的な逆伝播と安定した学習が可能になった。
• 結果として、学習目的を知覚ベース指標に合わせることで、客観的および主観的パフォーマンスに顕著な向上が得られることを示した。