[論文レビュー] Tdcgan: Temporal Dilated Convolutional Generative Adversarial Network for End-to-end Speech Enhancement

Shuaishuai Ye, Xinhui Hu+1 more|arXiv (Cornell University)|Aug 18, 2020

Speech and Audio Processing参考文献 32被引用数 6

ひとこと要約

本論文では、GANフレームワーク内での時間的拡張畳み込みネットワークと深さ方向に分離可能な畳み込みを組み合わせた、TDCGANと呼ばれる新しいエンドツーエンド音声強調モデルを提案する。パラメータ数を増加させることなく受容 field を拡大し、SNR勾配ペナルティを損失正則化として導入することで、SEGAN よりも 19 倍少ない 512 万パラメータで最先端の性能を達成し、従来の GAN ベース手法に比べて音声品質と SNR が向上した。

ABSTRACT

In this paper, in order to further deal with the performance degradation caused by ignoring the phase information in conventional speech enhancement systems, we proposed a temporal dilated convolutional generative adversarial network (TDCGAN) in the end-to-end based speech enhancement architecture. For the first time, we introduced the temporal dilated convolutional network with depthwise separable convolutions into the GAN structure so that the receptive field can be greatly increased without increasing the number of parameters. We also first explored the effect of signal-to-noise ratio (SNR) penalty item as regularization of the loss function of generator on improving the SNR of enhanced speech. The experimental results demonstrated that our proposed method outperformed the state-of-the-art end-to-end GAN-based speech enhancement. Moreover, compared with previous GAN-based methods, the proposed TDCGAN could greatly decreased the number of parameters. As expected, the work also demonstrated that the SNR penalty item as regularization was more effective than $L1$ on improving the SNR of enhanced speech.

研究の動機と目的

• 従来の STFT ベース手法が位相情報を無視することで生じる音声強調性能の低下を是正すること。
• 生波形を直接モデル化することで、位相と時間的文脈を保持するエンドツーエンド音声強調を改善すること。
• 強調品質を維持または向上させながら、モデルの複雑さとパラメータ数を削減すること。
• 生成器損失における SNR ペナルティを正則化項として導入することで、強調音声の SNR を向上させる有効性を検証すること。
• 実世界の音声システムへの実装に適した、軽量で高性能な GAN ベースアーキテクチャを開発すること。

提案手法

• GAN の生成器に時間的拡張畳み込みネットワーク（TDCN）と深さ方向に分離可能な畳み込みネットワーク（DSCN）を統合し、パラメータ数を増加させずに受容 field を拡大する。
• ノイズの多い波形を綺麗な波形に変換するため、エンコーダ、時間的拡張畳み込みマスク推定器（TDCME）、デコーダからなる生成器を設計する。
• SEGAN と同様のディスクラミネータアーキテクチャを採用し、1次元畳み込みとインスタンス正則化を用いて、本物の音声と生成された音声を区別する。
• 簡素化されたゼロ中心勾配ペナルティと、異なる学習率を用いた二段階スケールの更新ルールを適用し、学習の安定化を図る。
• 生成器損失関数に信号対雑音比（SNR）の勾配ペナルティを正則化項として導入し、強調音声の SNR を向上させる。
• 生成器が綺麗な音声のより現実的な分布を学習できるように、Wasserstein 距離を敵対的損失の指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 時間的拡張畳み込みと深さ方向に分離可能な畳み込みを組み合わせることで、パラメータ数を増加させずにエンドツーエンド音声強調における受容 field を拡大できるか？
• RQ2 生成器損失に SNR を勾配ペナルティとして組み込むことで、L1 正則化と比較してより優れた SNR 性能が得られるか？
• RQ3 PESQ、STOI、segSNR といった客観的指標において、提案された TDCGAN モデルは最先端の GAN ベース音声強調モデルと比較してどのように差をつけるか？
• RQ4 提案されたアーキテクチャは、強調品質を維持または向上させながら、どれほどモデルサイズを削減できるか？
• RQ5 拡張畳み込みと SNR 正則化の組み合わせが、騒音環境下でより頑健で聴覚的に自然な音声強調を実現できるか？

主な発見

• TDCGAN は PESQ スコア 2.87 を達成し、SEGAN（2.16）、SERA*（2.51）、CP-GAN（2.64）を上回り、音声品質の顕著な向上を示した。
• SNR 正則化を適用した場合、segSNR は 9.97 dB を達成し、L1 正則化バージョン（9.82 dB）およびすべてのベースラインを上回り、SNR ペナルティの有効性を裏付けた。
• TDCGAN はトレーニング可能なパラメータ数を 512 万にまで削減し、SEGAN（9747 万）と比較して 19 倍、SERA（8224 万）と比較して 16 倍、CP-GAN（推定 2600 万以上）と比較して 5 倍の削減を達成した。
• SNR ペナルティ正則化は L1 正則化よりも segSNR の向上にさらに効果的であり、信号対雑音比向上における優位性を確認した。
• TDCGAN は STOI 0.945、Csing 4.17、Cbak 3.46、Covl 3.53 を達成し、すべての指標で最高のベースライン結果を上回ったか、同等を維持した。
• モデルの性能向上は複数の指標にわたり一貫しており、ノイズの多い音声波形の強調における頑健性と一般化能力を確認した。