[論文レビュー] iSEGAN: Improved Speech Enhancement Generative Adversarial Networks

Deepak Baby|arXiv (Cornell University)|Feb 20, 2020

Speech and Audio Processing参考文献 31被引用数 9

ひとこと要約

本論文は、仮想バッチ正規化の代わりにインスタンス正規化を採用し、片側ラベルスムージングを適用し、学習可能なガマトーン聴覚フィルタリングおよびプリエマフィケーション層を統合することで、エンドツーエンド音声強調のための改善された条件付きGANフレームワークiSEGANを提案する。これらの変更により、訓練の安定性が向上し、計算コストが低減され、STOIやPESQといった主要指標において、VBNベースのGANや強力なLSTM-IRMベースラインを上回る最先端の性能を達成する。

ABSTRACT

Popular neural network-based speech enhancement systems operate on the magnitude spectrogram and ignore the phase mismatch between the noisy and clean speech signals. Conditional generative adversarial networks (cGANs) show promise in addressing the phase mismatch problem by directly mapping the raw noisy speech waveform to the underlying clean speech signal. However, stabilizing and training cGAN systems is difficult and they still fall short of the performance achieved by the spectral enhancement approaches. This paper investigates whether different normalization strategies and one-sided label smoothing can further stabilize the cGAN-based speech enhancement model. In addition, we propose incorporating a Gammatone-based auditory filtering layer and a trainable pre-emphasis layer to further improve the performance of the cGAN framework. Simulation results show that the proposed approaches improve the speech enhancement performance of cGAN systems in addition to yielding improved stability and reduced computational effort.

研究の動機と目的

• 条件付きGAN（cGAN）の訓練における不安定さと高い計算コストを解消すること。
• マグニチュードスペクトログラムベースの手法における位相不一致問題を、ノイズ混在波形を直接綺麗な波形に変換することで克服すること。
• アーキテクチャ的および正規化の革新を通じて、cGANベースの音声強調性能を向上させること。
• 聴覚にインspiredされたレイヤー（ガマトーンフィルタリング、プリエマフィケーション）がモデルの安定性および強調品質に与える影響を調査すること。

提案手法

• 識別器において仮想バッチ正規化（VBN）をインスタンス正規化（IN）に置き換えることで、メモリ使用量と訓練時間のオーバーヘッドを削減する。
• 敵対的訓練プロセスの安定化と収束性の向上を図るため、片側ラベルスムージングを適用する。
• 生成器および識別器の両方のネットワークに、人間の聴覚処理を模倣する学習可能なガマトーンフィルタバンクレイヤーを導入する。
• 高周波成分の強化と訓練の安定性向上を目的として、学習可能なプリエマフィケーションレイヤーを統合する。
• 生成器がノイズ混在波形とランダムノイズを入力として受け取り、条件付きで綺麗な波形を出力する条件付きGANフレームワークを採用する。
• 生成器と識別器の間でミニマックス敵対的訓練を実施し、波形出力に対してL1損失を適用する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス正規化は、仮想バッチ正規化と比較して、音声強調のためのcGAN訓練を安定化・高速化できるか？
• RQ2 片側ラベルスムージングは、cGANベースの音声強調モデルの安定性と性能を向上させることができるか？
• RQ3 学習可能なガマトーンフィルタバンクおよびプリエマフィケーションレイヤーの統合により、モデルの性能と安定性が向上するか？
• RQ4 潜在ノイズベクトルの導入は、モデルの綺麗な音声表現の学習能力を向上させるか、あるいは損なうか？
• RQ5 cGANベースのアプローチは、LSTM-IRMベースラインのような従来のマグニチュードスペクトル強調手法を上回ることができるか？

主な発見

• インスタンス正規化と片側ラベルスムージングを組み合わせたiSEGANモデルは、STOIスコア0.939およびPESQ2.60を達成し、LSTM-IRMベースラインを上回った。
• インスタンス正規化の導入により、VBNベースのSEGANモデルと比較して訓練時間が短縮され、性能が向上した。
• 学習可能なガマトーンフィルタリングおよびプリエマフィケーションレイヤーの追加により、特に安定性および聴取品質の面で性能が向上した。
• すべての構成要素（IN + ラベルスムージング + GT + プリエマフィケーション）を統合したモデルは、STOI 0.939およびPESQ 2.60を達成したが、安定性に欠ける結果となり、均衡状態におけるトレードオフが示された。
• 潜在ベクトルは性能向上に寄与することが判明し、その除去により訓練が不安定化し、収束しなくなった。
• 提案されたcGANフレームワークは、強力なIRMベースのベースラインを上回る最初のものであり、エンドツーエンドシステムにおけるその可能性を示した。