[論文レビュー] Explicit Estimation of Magnitude and Phase Spectra in Parallel for High-Quality Speech Enhancement

Ye-Xin Lu, Yang Ai+1 more|arXiv (Cornell University)|Aug 17, 2023

Speech and Audio Processing被引用数 5

ひとこと要約

本論文では、時間周波数変換器を備えたコーデックアーキテクチャを用いて、マグニチュードスペクトルと位相スペクトルを並列に明示的に推定する、MP-SENetと呼ばれる新しい音声強調ネットワークを提案する。マグニチュードと位相の推定を分離し、アンチ・ラッピング損失と知覚的損失を採用することで、音声ノイズ除去においてVoiceBank+DEMANDデータセットでPESQ 3.60の最先端性能を達成した。また、調和構造の回復が優れており、双方向補正効果が低減されている。

ABSTRACT

Phase information has a significant impact on speech perceptual quality and intelligibility. However, existing speech enhancement methods encounter limitations in explicit phase estimation due to the non-structural nature and wrapping characteristics of the phase, leading to a bottleneck in enhanced speech quality. To overcome the above issue, in this paper, we proposed MP-SENet, a novel Speech Enhancement Network that explicitly enhances Magnitude and Phase spectra in parallel. The proposed MP-SENet comprises a Transformer-embedded encoder-decoder architecture. The encoder aims to encode the input distorted magnitude and phase spectra into time-frequency representations, which are further fed into time-frequency Transformers for alternatively capturing time and frequency dependencies. The decoder comprises a magnitude mask decoder and a phase decoder, directly enhancing magnitude and wrapped phase spectra by incorporating a magnitude masking architecture and a phase parallel estimation architecture, respectively. Multi-level loss functions explicitly defined on the magnitude spectra, wrapped phase spectra, and short-time complex spectra are adopted to jointly train the MP-SENet model. A metric discriminator is further employed to compensate for the incomplete correlation between these losses and human auditory perception. Experimental results demonstrate that our proposed MP-SENet achieves state-of-the-art performance across multiple speech enhancement tasks, including speech denoising, dereverberation, and bandwidth extension. Compared to existing phase-aware speech enhancement methods, it further mitigates the compensation effect between the magnitude and phase by explicit phase estimation, elevating the perceptual quality of enhanced speech.

研究の動機と目的

• 音声強調の品質向上における、暗黙的かつ不正確な位相推定という長年の課題を解決すること。
• マグニチュードと位相の間の双方向補正効果が、調和構造と知覚的品質を損なう問題を克服すること。
• マグニチュードと位相スペクトルを並列に明示的にモデル化・最適化することで、音声の自然さと聞き取りやすさを向上させること。
• ノイズ除去、エコー除去、帯域拡張という複数のタスクにおいて高品質な強調を実現する統合フレームワークの開発。
• アブレーションスタディと定量的指標を通じて、明示的位相推定の有効性を検証すること。

提案手法

• MP-SENetは、歪んだマグニチュードスペクトルとラップされた位相スペクトルを時間周波数表現に変換するエンコーダを備えたコーデックアーキテクチャを採用する。
• デコーダは二重スレッドのブランチを有する：一つは明示的なマグニチュードスペクトル推定用、もう一つは並列位相推定アーキテクチャを用いた明示的な位相スペクトル推定用。
• 時間周波数変換器がエンコーダとデコーダを接続し、時間的および周波数的次元における長距離依存関係を捉える。
• マルチレベル損失を用いてモデルを訓練する：マグニチュードには平均二乗誤差と知覚的損失、位相にはアンチ・ラッピング損失、短時間複素スペクトルには平均二乗誤差と一貫性損失を適用。
• 人間中心の指標を最適化するために、敵対的メトリックディスクライマを用いて知覚的品質を向上させる。
• 位相スペクトルはアンチ・ラッピング損失を用いて明示的に最適化され、位相の周期的性質に対応し、不連続性を回避する。

実験結果

リサーチクエスチョン

• RQ1 マグニチュードと位相スペクトルの明示的かつ並列な推定は、音声強調において暗黙的または逐次的な位相モデリングを上回る性能を発揮するか？
• RQ2 明示的な位相推定は、マグニチュードと位相の間の双方向補正効果を軽減し、調和構造の保存を向上させるか？
• RQ3 アンチ・ラッピング損失と知覚的損失は、音声品質および知覚的指標の向上にどのように寄与するか？
• RQ4 時間的および周波数的変換器の逐次的スタックと並列的スタックというアーキテクチャ選択の性能への影響は何か？
• RQ5 明示的位相モデリングは、コンactなモデルサイズで複数の音声強調タスクにおいて最先端の結果を達成できるか？

主な発見

• MP-SENetは、音声ノイズ除去タスクにおいて、公開されているVoiceBank+DEMANDデータセットでPESQ 3.60という最先端の性能を達成し、既存の位相に配慮した手法を上回った。
• スペクトログラムの可視的比較により、調和構造の回復が著しく向上したことが確認された。
• アブレーションスタディの結果、明示的位相推定が不可欠であることが示され、位相デコーダを削除すると性能が著しく低下した。
• アンチ・ラッピング損失と知覚的メトリック損失は、高い知覚的品質を実現するために不可欠であり、特にMOSベースの指標が顕著に向上した。
• 変換器をコンフォーマに置き換えても性能低下はわずかであったが、MP-SENetはパラメータ数1.77Mというより小型のモデルでCMGANを上回った。
• 時間的および周波数的変換器を逐次スタックするアプローチは、並列スタックよりもわずかに優れていたが、両者とも優れた結果を示した。