[論文レビュー] CMGAN: Conformer-Based Metric-GAN for Monaural Speech Enhancement

Sherif Abdulatif, Ruizhe Cao+1 more|arXiv (Cornell University)|Sep 22, 2022

Speech and Audio Processing参考文献 127被引用数 11

ひとこと要約

本稿では、共通のエンコーダと二重ブランチデコーダを用いて時間周波数ドメインで位相とマグニチュードを共同最適化する、モノラル音声強調のためのコンフォーマー基盤のメトリック GAN（CMGAN）を提案する。この手法は、ノイズ除去、エコー除去、スーパーレゾリューションの各タスクで最先端の性能を達成し、Voice Bank+DEMAND で PESQ 3.41、SSNR 11.10 dB を記録している。また、DNS-MOS および聴取テストを通じて、未学習のノイズタイプに対しても強力な汎化性能を示している。

ABSTRACT

In this work, we further develop the conformer-based metric generative adversarial network (CMGAN) model for speech enhancement (SE) in the time-frequency (TF) domain. This paper builds on our previous work but takes a more in-depth look by conducting extensive ablation studies on model inputs and architectural design choices. We rigorously tested the generalization ability of the model to unseen noise types and distortions. We have fortified our claims through DNS-MOS measurements and listening tests. Rather than focusing exclusively on the speech denoising task, we extend this work to address the dereverberation and super-resolution tasks. This necessitated exploring various architectural changes, specifically metric discriminator scores and masking techniques. It is essential to highlight that this is among the earliest works that attempted complex TF-domain super-resolution. Our findings show that CMGAN outperforms existing state-of-the-art methods in the three major speech enhancement tasks: denoising, dereverberation, and super-resolution. For example, in the denoising task using the Voice Bank+DEMAND dataset, CMGAN notably exceeded the performance of prior models, attaining a PESQ score of 3.41 and an SSNR of 11.10 dB. Audio samples and CMGAN implementations are available online.

研究の動機と目的

• ノイズ除去、エコー除去、スーパーレゾリューションを統合的に扱う、モノラル音声強調のための包括的ディーブラーニングフレームワークの開発。
• 非微分可能な評価スコア（例：PESQ、STOI）を直接最適化する微分可能メトリックディスクライマを用いることで、音声強調におけるメトリック不一致問題を克服すること。
• アーキテクチャの革新と広範なアブレーションスタディを通じて、未学習のノイズタイプや歪みへの汎化性能を向上させること。
• 複素時間周波数ドメインにおけるスーパーレゾリューションという、ほとんど取り扱われていないタスクの実現可能性と有効性を検討すること。

提案手法

• 連結されたマグニチュードと複素（実部/虚部）スペクトログラム成分を処理する共通のエンコーダを備えたコンフォーマー基盤のジェネレータを提案。
• 共有表現からの時間的および周波数的依存関係を効率的にモデル化するため、二段階ブロックに二重パストランスフォーマを採用。
• マグニチュード推定のための専用マスクデコーダと、複素スペクトログラムの実部および虚部を精緻に修正する別ブランチを導入。
• 非微分可能な聴取的評価スコア（例：PESQ、STOI）を予測するように訓練されたメトリックディスクライマを用い、ℓp-ノルム損失に依存しないジェネレータのガイドラインを提供。
• 長距離の文脈を過剰なパラメータ数を増やさずに捉えるために、増加する拡張率を有するドーラテッドドレインブロックを適用。
• デコーダブランチにおける特徴拡大に、サブピクセル畳み込みおよび2次元逆畳み込みを活用。

実験結果

リサーチクエスチョン

• RQ1 共通のエンコーダを備えたコンフォーマー基盤アーキテクチャは、マルチタスクモノラル音声強調において、既存のモデルを上回る性能を発揮できるか？
• RQ2 提案されたメトリックディスクライマは、標準的な GAN と比較して、未学習のノイズタイプへの汎化性能をどのように向上させるか？
• RQ3 複素 TF ドメインにおけるマグニチュードと位相の共同最適化は、マグニチュードのみまたは時間ドメインのアプローチと比較して、アーティファクトをどの程度低減できるか？
• RQ4 CMGANフレームワークは、挑戦的な時間周波数スーパーレゾリューションタスクを効果的に処理できるか？ また、既存手法と比較してどのように差をつけるか？

主な発見

• CMGAN は、Voice Bank+DEMAND データセットにおける音声ノイズ除去タスクで PESQ 3.41、SSNR 11.10 dB を達成し、先行する最先端手法を上回った。
• DNS-MOS スコアおよび聴取テストを通じて、未学習のノイズタイプや歪みに対しても優れた汎化性能を示し、一貫した聴取的品質を維持した。
• 可視化されたベースバンド位相差から、特に非定常ノイズ条件下で、比較手法の中でも最高の位相再構成性能を達成した。
• アブレーションスタディにより、共通エンコーダ、二重ブランチデコーダ、およびメトリックディスクライマが性能向上に顕著な寄与をしていることが確認され、特にメトリックディスクライマが聴取的品質向上に不可欠であることが示された。
• CMGAN は、時間周波数スーパーレゾリューション分野において新たな最先端を樹立し、この複雑なタスクに効果的に取り組む最初の手法の一つとなった。
• わずか 183 万パラメータで競争力のある性能を達成しており、高いパラメータ効率性を示した。