[論文レビュー] On Loss Functions and Recurrency Training for GAN-based Speech Enhancement Systems

Zhuohuang Zhang, Chengyun Deng+6 more|arXiv (Cornell University)|Jul 29, 2020

Speech and Audio Processing参考文献 35被引用数 8

ひとこと要約

本稿では、局所的な周波数-時間相関をCNNで、長期的な時間的モデリングをBiLSTM層で扱うことで、音声強調のための畳み込み再帰的GAN（CRGAN）を提案する。MSEを用いたメトリック損失を用いることで、PESQ、STOI、CSIG、CBAK、COVLの各指標において、SOTAのGANベースおよび非GANベースのシステムを上回る最先端の性能を達成しており、最良の設定でPESQは2.92、STOIは0.940を記録した。

ABSTRACT

Recent work has shown that it is feasible to use generative adversarial networks (GANs) for speech enhancement, however, these approaches have not been compared to state-of-the-art (SOTA) non GAN-based approaches. Additionally, many loss functions have been proposed for GAN-based approaches, but they have not been adequately compared. In this study, we propose novel convolutional recurrent GAN (CRGAN) architectures for speech enhancement. Multiple loss functions are adopted to enable direct comparisons to other GAN-based systems. The benefits of including recurrent layers are also explored. Our results show that the proposed CRGAN model outperforms the SOTA GAN-based models using the same loss functions and it outperforms other non-GAN based systems, indicating the benefits of using a GAN for speech enhancement. Overall, the CRGAN model that combines an objective metric loss function with the mean squared error (MSE) provides the best performance over comparison approaches across many evaluation metrics.

研究の動機と目的

• GANフレームワークに畳み込みおよび再帰的アーキテクチャを組み合わせることで、音声強調性能が向上するかどうかを調査すること。
• 異なる損失関数がGANベース音声強調システムに与える影響を評価すること。
• GANフレームワークを用いた敵対的訓練が、非GANベースの手法に比べて優位性を示すかどうかを検証すること。
• GANベース音声強調モデルにおける再帰層の貢献度を定量化すること。
• CRGANベース音声強調に最適な損失関数の設定を特定すること。

提案手法

• 局所的および長期的な音声依存関係をモデル化するため、2次元畳み込み層と双方向LSTM（BiLSTM）層を用いたエンコーダ-デコーダ構造の新規なCRGANアーキテクチャを提案する。
• 生成器および識別器の学習に、相対的平均（Ra）、メトリック、および平均二乗誤差（MSE）の複数の損失関数を統合する。
• 2段階の敵対的訓練プロセスを採用：まず、識別器を実際の（オラクルの）マスクと偽（生成された）マスクで学習させ、次に生成器を識別器をだませるように学習させる。
• 生成器における時間的モデリングの向上を図るため、CRNアーキテクチャを拡張し、単方向LSTMをBiLSTMに置き換える。
• 知覚的品質と再構成精度の両方を向上させるために、メトリック損失とMSEのハイブリッド損失を採用する。
• 寄与度の隔離を目的として、再帰層を含まないCRGANおよび個別の損失関数を用いたCRGANのアブレーションバージョンを評価する。

実験結果

リサーチクエスチョン

• RQ1 GANベース音声強調モデルに再帰層を組み込むことで、純粋に畳み込み型のGANと比較して性能が向上するか？
• RQ2 どの損失関数の組み合わせが、音声品質および聞き取りやすさの観点で最良の性能を発揮するか？
• RQ3 CRGANベースのシステムは、最先端の非GANベース音声強調モデルを上回ることができるか？
• RQ4 GANフレームワークを用いた敵対的訓練は、非GAN訓練と比較して、強調品質に優位性を示すか？
• RQ5 CRGANアーキテクチャにおける再帰層の相対的貢献度はどの程度か？

主な発見

• M-CRGAN-MSEモデルは、PESQが2.92、STOIが0.940に達し、他のすべてのGANベースおよび非GANベースのシステムを上回る最高のスコアを記録した。
• メトリック損失とMSEを組み合わせたCRGANモデルは、CSIG（4.16）、CBAK（3.24）、COVL（3.54）の各指標で優れた性能を示し、音声の整合性が高く、ノイズの侵入が少ないことを示している。
• 再帰層を削除すると性能が著しく低下し、PESQはM-CRGAN-MSEの2.92からRa-CGANの2.38に低下した。これは、時間的モデリングの重要性を裏付けている。
• CRGANモデルは、最高の既存のGANベースシステム（RaSGAN、PESQ: 2.57）および非GANベースのベースライン（BiLSTM、PESQ: 2.70）を上回っており、適切なアーキテクチャを用いた敵対的訓練の利点を示している。
• メトリック損失にMSEを組み合わせた損失関数が、すべての指標で一貫した改善をもたらし、CRGANベース音声強調に最も効果的な損失関数であると考えられる。
• 相対的平均損失（Ra-CRGAN）を用いたCRGANモデルは、PESQが2.81、STOIが0.936を記録し、強力な性能を示したが、依然としてM-CRGAN-MSEバージョンには及ばない。