[論文レビュー] A Two-stage Complex Network using Cycle-consistent Generative Adversarial Networks for Speech Enhancement

Guochen Yu, Yutian Wang+3 more|arXiv (Cornell University)|Sep 5, 2021

Speech and Audio Processing参考文献 60被引用数 5

ひとこと要約

本稿では、サイクルGANと深層複素数ノイズ除去ネットワークを用いた2段階の複雑ネットワークを、単一チャネル音声強調に提案する。まず、サイクル整合性を保ちながら、綺麗な音声のマグニチュードをサイクルGANが推定する。次に、複素数値のノイズ除去ネットワークが位相を精緻化し、残存ノイズを抑圧する。複数のデータセットにおいて、音声品質とノイズ抑制性能が最先端水準に達する。

ABSTRACT

Cycle-consistent generative adversarial networks (CycleGAN) have shown their promising performance for speech enhancement (SE), while one intractable shortcoming of these CycleGAN-based SE systems is that the noise components propagate throughout the cycle and cannot be completely eliminated. Additionally, conventional CycleGAN-based SE systems only estimate the spectral magnitude, while the phase is unaltered. Motivated by the multi-stage learning concept, we propose a novel two-stage denoising system that combines a CycleGAN-based magnitude enhancing network and a subsequent complex spectral refining network in this paper. Specifically, in the first stage, a CycleGAN-based model is responsible for only estimating magnitude, which is subsequently coupled with the original noisy phase to obtain a coarsely enhanced complex spectrum. After that, the second stage is applied to further suppress the residual noise components and estimate the clean phase by a complex spectral mapping network, which is a pure complex-valued network composed of complex 2D convolution/deconvolution and complex temporal-frequency attention blocks. Experimental results on two public datasets demonstrate that the proposed approach consistently surpasses previous one-stage CycleGANs and other state-of-the-art SE systems in terms of various evaluation metrics, especially in background noise suppression.

研究の動機と目的

• サイクル整合性制約により残存ノイズを除去できないサイクルGANベースの音声強調モデルの限界を解消すること。
• 低SNR条件下での位相歪みを、綺麗な位相の同時推定と残存ノイズ抑制によって克服すること。
• マグニチュードと位相推定を2段階の学習フレームワークに分離することで、音声品質と話者理解性を向上させること。
• 時間周波数アテンションを備えた新規な複素数値ニューラルネットワークを導入し、エンドツーエンドの複素スペクトルマッピングを実現すること。
• 公開データセットを用いて、1段階のサイクルGANと他の最先端手法との比較を通じて、2段階アプローチの優位性を検証すること。

提案手法

• 2段階のフレームワークを設計：まず、相対的平均損失とサイクル整合性損失を用いて、マグニチュードマッピングネットワーク（CycleGAN-MM）が綺麗なスペクトルマグニチュードを推定する。
• 推定されたマグニチュードと元のノイズ混在位相を組み合わせ、粗い強調スペクトルを2段階目の入力として生成する。
• 2段階目では、綺麗なスペクトルの実部と虚部を同時に推定する深層複素数値ノイズ除去ネットワーク（DCD-Net）を導入する。
• DCD-Netは、複素数値2次元畳み込み・逆畳み込み層に加え、時間周波数アテンション（T-FA）ブロックを用いて、時間および周波数ドメインにおける長距離依存性をモデル化する。
• 全システムは段階的に訓練され、最初の段階を事前学習した後、2段階目を微調整する。
• 2段階目の損失計算には、位相推定精度を向上させるために複素数比マスクが用いられる。

Figure 1: (a) The forward noisy-clean-noisy cycle. (b) The backward clean-noisy-clean cycle.

実験結果

リサーチクエスチョン

• RQ1 マグニチュードと位相推定を分離することで、2段階の学習フレームワークが音声強調性能を向上させ得るか？
• RQ2 サイクルGANによるマグニチュード推定後に、複素数値ノイズ除去ネットワークを組み込むことで、残存ノイズと位相歪みが低減されるか？
• RQ3 両段階に時間周波数アテンション機構を組み込むことで、グローバルな依存性モデリングが向上し、低SNR条件下での性能が向上するか？
• RQ4 提案手法の2段階複素数ネットワークは、1段階のサイクルGANおよび他のSOTA手法と比較して、客観的および主観的指標で優位性を示すか？
• RQ5 提案手法は、さまざまなノイズタイプとSNRレベルに対して頑健であるか？

主な発見

• 提案された2段階モデル、CycleGAN-DCDは、BabbleおよびFactory1ノイズタイプにおいて、それぞれ0.32および0.30のPESQ向上をサイクルGAN-MMに対して達成した。
• BabbleおよびFactory1ノイズにおいて、セグメンテッドSNR（SSNR）が0.99 dBおよび1.03 dB向上し、優れたノイズ抑制性能を示した。
• WSJ0-SI84 + DNSデータセットにおいて、CycleGAN-DCDは、Factory1およびBabbleノイズにおいて、それぞれ0.27および0.30のDNSMOSスコア向上をサイクルGAN-MMに対して達成した。
• 最も優れた非GANベースライン（Noncausal-GCRN）と比較すると、CycleGAN-DCDはPESQで0.06、STOIで0.33%、SSNRで0.21 dBの平均向上を示した。
• CBAK（残存ノイズ）およびCOVL（全体的品質）の両指標において顕著な向上を確認し、歪み低減と音声品質向上を裏付けた。
• アブレーションスタディにより、2段階目の複素数値ノイズ除去ネットワークが位相回復と残存ノイズ抑制に不可欠であることが確認され、1段階モデルを著しく上回る性能を示した。

Figure 2: The diagram of the proposed CycleGAN-DCD. The left part denotes the architecture of CycleGAN-MM, while the right part denotes the architecture of DCD-Net.