[論文レビュー] MetricGAN+: An Improved Version of MetricGAN for Speech Enhancement

Szu‐Wei Fu, Cheng Yu+5 more|arXiv (Cornell University)|Apr 8, 2021

Speech and Audio Processing参考文献 34被引用数 24

ひとこと要約

MetricGAN+ は、ドメイン固有の知識を MetricGAN フレームワークに統合することで音声強調を改善し、知覚的品質を最適化するための3つの新規トレーニング手法を用いる。VoiceBank-DEMAND データセット上で PESQ スコア 3.15 を達成し、元の MetricGAN よりも 0.3 向上し、最先端の性能を達成する。

ABSTRACT

The discrepancy between the cost function used for training a speech enhancement model and human auditory perception usually makes the quality of enhanced speech unsatisfactory. Objective evaluation metrics which consider human perception can hence serve as a bridge to reduce the gap. Our previously proposed MetricGAN was designed to optimize objective metrics by connecting the metric with a discriminator. Because only the scores of the target evaluation functions are needed during training, the metrics can even be non-differentiable. In this study, we propose a MetricGAN+ in which three training techniques incorporating domain-knowledge of speech processing are proposed. With these techniques, experimental results on the VoiceBank-DEMAND dataset show that MetricGAN+ can increase PESQ score by 0.3 compared to the previous MetricGAN and achieve state-of-the-art results (PESQ score = 3.15).

研究の動機と目的

• 自動音声強調評価指標と人間の聴覚的知覚のギャップを埋める。
• 音声処理からのドメイン固有の知識を統合することで、元の MetricGAN の性能を向上させる。
• 音声強調の非微分可能目的指標を最適化するトレーニングフレームワークを開発する。
• VoiceBank-DEMAND データセットで最先端の音声強調品質を達成する。
• ドメインにインformedなトレーニング手法が、微分可能指標を必要とせずに知覚的品質を向上させることを示す。

提案手法

• 音声強調における知覚的指標の最適化を改善するため、3つのドメイン知識に基づくトレーニング手法を導入する。
• 元の MetricGAN フレームワークを、トレーニングプロセスに音声固有の事前知識を統合することで変更する。
• 目的評価指標に一致するディスクリミネーターを用い、その指標が非微分可能であっても有効に機能させる。
• 評価関数のスコアをトレーニング中に活用し、生成器が知覚的に優れた出力を指向するように誘導する。
• 条件付き GAN アーキテクチャを採用し、生成器が指標フィードバックに基づいてノイズ混在音声を強調音声にマッピングするように学習する。
• 指標スコアを監視信号として組み込んだ損失関数を最適化することで、生成器を人間の知覚に合わせて向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の知識は、指標ベースの音声強調モデルの性能を向上させることができるか？
• RQ2 音声処理の事前知識を組み込むことで、非微分可能な知覚的指標の最適化にどのような影響を与えるか？
• RQ3 知覚的指標フィードバックでトレーニングされた GAN ベースのフレームワークは、最先端の音声強調品質を達成できるか？
• RQ4 提案されたトレーニング手法は、PESQ およびその他の目的指標にどのような影響を与えるか？
• RQ5 改善されたトレーニング戦略は、ベースライン手法と比較してより自然な音声出力を得られるか？

主な発見

• MetricGAN+ は、VoiceBank-DEMAND データセットで PESQ スコア 3.15 を達成し、元の MetricGAN よりも 0.3 向上した。
• モデルはベンチマークデータセット上で最先端の性能を達成し、以前の手法を上回った。
• 提案されたトレーニング手法は、微分可能指標を必要とせずに知覚的品質を顕著に向上させた。
• フレームワークは、指標スコアをトレーニング信号として使用することで、非微分可能な目的指標を効果的に最適化した。
• ドメイン知識の統合により、PESQ および主観的評価指標の向上が確認され、より自然な音声出力が得られた。
• この手法は、VoiceBank-DEMAND データセットにおける多様なノイズ条件において、強固で汎用性の高い性能を示した。