[論文レビュー] Dynamic Attention Based Generative Adversarial Network with Phase Post-Processing for Speech Enhancement

Andong Li, Chengshi Zheng+3 more|arXiv (Cornell University)|Jun 13, 2020

Speech and Audio Processing参考文献 19被引用数 4

ひとこと要約

本稿では、時間周波数ドメインにおける音声強調のための動的アテンションに基づく生成的敵対ネットワークであるDARGANを提案する。このモデルは、再帰的生成器を用いてノイズの強い特徴を段階的に精錬し、動的アテンションを適用して特徴を適応的に再重み付けし、深層グリフィン・リム法（DGLA）を用いた位相再構築を行う。DARGANはVoice Bankコーパスにおいて、PESQ、CSIG、CBAK、COVLの指標で、先行するGANベースおよび非GANベースのモデルを上回る最先端の性能を達成した。

ABSTRACT

The generative adversarial networks (GANs) have facilitated the development of speech enhancement recently. Nevertheless, the performance advantage is still limited when compared with state-of-the-art models. In this paper, we propose a powerful Dynamic Attention Recursive GAN called DARGAN for noise reduction in the time-frequency domain. Different from previous works, we have several innovations. First, recursive learning, an iterative training protocol, is used in the generator, which consists of multiple steps. By reusing the network in each step, the noise components are progressively reduced in a step-wise manner. Second, the dynamic attention mechanism is deployed, which helps to re-adjust the feature distribution in the noise reduction module. Third, we exploit the deep Griffin-Lim algorithm as the module for phase postprocessing, which facilitates further improvement in speech quality. Experimental results on Voice Bank corpus show that the proposed GAN achieves state-of-the-art performance than previous GAN- and non-GAN-based models

研究の動機と目的

• 既存のGANベース音声強調モデルの限界、特に位相推定と特徴表現の問題を解決すること。
• 新規の深層学習アーキテクチャを用いて、低SNRおよび不安定なノイズ環境下での音声品質と聞き取りやすさを向上させること。
• マグニチュードのみのスペクトル推定に起因する一般的な位相不一致問題を解消するために、専用の位相後処理ステップを導入すること。
• 再帰的トレーニングと動的アテンションメカニズムを活用して、特徴学習とノイズ抑制を強化すること。
• GANベースおよび非GANベースの音声強調モデルにおいて、客観的指標で最先端の性能を達成すること。

提案手法

• 生成器は再帰的学習プロトコルを採用し、ノイズ低減プロセスを複数段階に分解。各段階でメモリ機構を用いて直前の段階の出力を精錬する。
• ノイズ低減モジュールに動的アテンション機構を統合し、特徴マップを適応的に再重み付けすることで、表現学習とノイズ抑制を向上させる。
• 訓練には最小二乗GAN（LS-GAN）と条件付きGAN（cGAN）を用い、生成器はノイズスペクトログラムを強調済みスペクトログラムにマッピングする。
• 位相後処理は深層グリフィン・リム法（DGLA）を用い、最適化ブロックを複数回展開することで、反復的に位相を精錬する。
• 訓練目的関数は敵対的損失とL1正則化損失を組み合わせており、ハイパーパrameter λG が知覚的品質と再構成忠実度のトレードオフを制御する。
• 識別器は、実際のクリアなスペクトログラムと生成された強調済みスペクトログラムを区別するように訓練され、生成器がより現実的な出力を生成できるようにする。

実験結果

リサーチクエスチョン

• RQ1 生成器における再帰的学習により、ノイズの強い特徴を段階的に精錬することで、音声強調性能が向上するか？
• RQ2 動的アテンション機構の統合により、時間周波数ドメインにおける特徴表現とノイズ抑制が向上するか？
• RQ3 深層グリフィン・リム法による位相後処理により、マグニチュードのみの推定に起因する位相不一致を是正することで、音声品質が顕著に向上するか？
• RQ4 提案されたDARGANモデルは、最先端のGANベースおよび非GANベース音声強調モデルと比較して、客観的指標で優れた性能を示すか？
• RQ5 訓練目的関数における敵対的損失とL1正則化損失の最適なトレードオフは何か？ これにより音声品質が最大化されるか？

主な発見

• λG = 1の条件下で、DARGANはPESQスコア2.93、CSIGスコア4.30を達成し、SEGANをPESQで0.80、CSIGで0.81上回った。
• 最近の最先端非GANモデルであるMetricGANを上回り、PESQで0.07、CSIGで0.08の向上を達成した。
• DGLAを用いた位相後処理（PPP）により、PESQが0.03、CBAKが0.02向上し、位相精錬の有効性が裏付けられた。
• 最良の性能はλG = 1で達成され、それ以上の増加はL1損失への過剰な重み付けにより性能を劣化させることが判明した。
• STFT-TCN（DNSチャレンジ上位モデル）と比較して、DARGANは全4指標で優れた性能を示し、実世界のノイズ環境下での優位性を確認した。
• 可視化分析により、DARGANはSEGANと比較して残存ノイズをより効果的に抑制するとともに、フォルマント構造と音声の詳細を保持していることが確認された。