[論文レビュー] Time-domain Speech Enhancement with Generative Adversarial Learning

Feiyang Xiao, Jian Guan+2 more|arXiv (Cornell University)|Mar 30, 2021

Speech and Audio Processing参考文献 29被引用数 4

ひとこと要約

本稿では、時間領域音声強調フレームワークTSEGANを提案する。この手法は、生成的敵対ネットワークに指標評価を統合することで、訓練の安定化とSI-SNR損失に起因するスケールの曖昧さの軽減を図る。SI-SNRを用いて音声品質を評価するディスクライマーを用いることで、TSEGANはWGANベースの手法よりも優れた客観的性能とより良い一般化性能を達成し、Metric GANがWGANを上回る理由を理論的に説明する。

ABSTRACT

Speech enhancement aims to obtain speech signals with high intelligibility and quality from noisy speech. Recent work has demonstrated the excellent performance of time-domain deep learning methods, such as Conv-TasNet. However, these methods can be degraded by the arbitrary scales of the waveform induced by the scale-invariant signal-to-noise ratio (SI-SNR) loss. This paper proposes a new framework called Time-domain Speech Enhancement Generative Adversarial Network (TSEGAN), which is an extension of the generative adversarial network (GAN) in time-domain with metric evaluation to mitigate the scaling problem, and provide model training stability, thus achieving performance improvement. In addition, we provide a new method based on objective function mapping for the theoretical analysis of the performance of Metric GAN, and explain why it is better than the Wasserstein GAN. Experiments conducted demonstrate the effectiveness of our proposed method, and illustrate the advantage of Metric GAN.

研究の動機と目的

• 時間領域音声強調モデルにおけるスケール不変信号対雑音比（SI-SNR）損失に起因する訓練の不安定性を解消すること。
• GANフレームワークに指標評価を組み込むことで、音声強調モデルの一般化性能と客観的性能を向上させること。
• Metric GANが音声強調タスクにおいてWGANを上回る理由を理論的に説明すること。
• 時間領域音声強調に適した、さまざまなTasNetベースのジェネレータをサポートする柔軟なフレームワークの開発

提案手法

• フレームワークは、時間領域におけるノイズ混在音声の潜在表現を学習するTasNetベースのジェネレータを用いる。
• 標準的なGAN損失に代わり、強調済み音声とクリア音声間のSI-SNRを推定する指標評価ディスクライマーを導入する。
• ディスクライマーは、実際のSI-SNR値と整合するスコアを出力するように訓練され、より安定で意味のある訓練信号を可能にする。
• 生成器は、強調済み音声が高いSI-SNRを達成するよう促進する損失関数と、指標ディスクライマーのガイダンスに従って最適化される。
• この手法は、ディスクライマー出力が目的の指標（SI-SNR）と一致するよう制約を課す「Metric GAN」として形式化される。これにより、知覚的品質と整合性が保証される。
• 理論的分析により、特定の条件下ではWGANがMetric GANの特殊ケースであることが示され、後者の性能優位性の根拠が提供される。

実験結果

リサーチクエスチョン

• RQ1 同じ理論的基盤を持つにもかかわらず、なぜMetric GANは音声強調においてWGANを上回るのか？
• RQ2 ディスクライマーにおける指標評価は、SI-SNR損失に起因するスケールの曖昧さを軽減し、訓練を安定化させることができるか？
• RQ3 ターゲット指標値（q）の選択が、Metric GANフレームワークの性能にどのように影響するか？
• RQ4 どのような条件下でMetric GANはWGANと同等となり、それ以外の状況では性能差が生じる理由は何か？

主な発見

• TSEGANは、WGANベースのモデルよりもバリデーションセットでより優れたSI-SNR性能を達成し、客観的指標性能の向上を示した。
• q=20のM-TSEGANはq=200のM-TSEGANを上回り、より小さいターゲット値が良好な指標適合と性能をもたらすことを示した。
• 指標評価ディスクライマーは、SI-SNR損失に起因するスケールの曖昧さ問題を効果的に軽減し、より安定した訓練を実現した。
• 理論的分析により、特定の条件下でWGANはMetric GANの特殊ケースであることが確認され、Metric GANの性能優位性の根拠が裏付けられた。
• フレームワークは柔軟性を備えており、さまざまなTasNet変種との統合を可能にし、時間領域音声強調分野への広範な応用を可能にした。