[論文レビュー] Phase-aware Single-stage Speech Denoising and Dereverberation with U-Net

Hyeong-Seok Choi, Hoon Heo+2 more|arXiv (Cornell University)|Jun 1, 2020

Speech and Audio Processing参考文献 27被引用数 6

ひとこと要約

本稿では、複素平面における三角不等式を満たすことで位相推定を向上させる、新たな位相に配慮したβシグモイドマスク（PHM）を用いた、一括処理型U-Netフレームワークを提案する。この手法は、音声のノイズ除去とエコー除去を統合的に処理し、時間領域におけるマルチスケールのコサイン類似度損失と最適化された推論戦略を導入することで、DNSおよびWHAMRデータセットで最先端の性能を達成するとともに、SI-SDRとPESQの面で顕著な向上を実現した。計算量は88.9%削減された。

ABSTRACT

In this work, we tackle a denoising and dereverberation problem with a single-stage framework. Although denoising and dereverberation may be considered two separate challenging tasks, and thus, two modules are typically required for each task, we show that a single deep network can be shared to solve the two problems. To this end, we propose a new masking method called phase-aware beta-sigmoid mask (PHM), which reuses the estimated magnitude values to estimate the clean phase by respecting the triangle inequality in the complex domain between three signal components such as mixture, source and the rest. Two PHMs are used to deal with direct and reverberant source, which allows controlling the proportion of reverberation in the enhanced speech at inference time. In addition, to improve the speech enhancement performance, we propose a new time-domain loss function and show a reasonable performance gain compared to MSE loss in the complex domain. Finally, to achieve a real-time inference, an optimization strategy for U-Net is proposed which significantly reduces the computational overhead up to 88.9% compared to the naïve version.

研究の動機と目的

• 分離されたノイズ除去モジュールとエコー除去モジュールの限界を解消し、両方のタスクを1つのディーブラーニングフレームワークに統合すること。
• マグニチュード推定値を再利用することで、複素スペクトログラムにおける位相推定の精度を向上させ、マグニチュード推定値に基づく幾何的制約を強制すること。
• 音声強調における知覚的品質と一般化性能を向上させるために、時間領域の損失関数を開発すること。
• 性能を損なわせることなくリアルタイムデプロイメントに適したU-Net推論の最適化を図ること。
• 直接成分とリバーブ成分のための二重PHMを学習することで、推論時にリバーブ抑制の割合を制御可能にすること。

提案手法

• 複素平面における混合信号、音源、残差成分の間で三角不等式を強制することで、マグニチュード推定値を再利用してクリアな位相を推定する、位相に配慮したβシグモイドマスク（PHM）を提案する。
• 直接パス成分とリバーブ成分を別々に推定するために2つのPHMを用い、推論時にリバーブレベルの動的制御を可能にする。
• 音声品質と時間的整合性を向上させるために、時間領域におけるマルチスケール強調型コサイン類似度損失関数を設計する。
• 2次元U-Netの計算最適化戦略を導入し、ナイーブな実装と比較して推論遅延を最大88.9%まで低減する。
• 複素スペクトログラムを用いてPHMと時間領域損失の組み合わせでモデルを学習し、マグニチュードと位相の共同最適化を可能にする。
• テスト時にゼロ遅延のダイナミックレンジコンプレッサーを適用し、直接成分とリバーブ成分を線形混合することで、知覚的品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分離されたモジュールを用いず、1つのディープニューラルネットワークが同時に音声のノイズ除去とエコー除去を効果的に行えるか？
• RQ2 複素平面における幾何的制約を活用することで、複素スペクトログラムにおける位相推定はどのように向上できるか？
• RQ3 マルチスケール時間領域損失関数は、従来の複素領域MSE損失と比較して、音声品質と聞き取りやすさの面で優れているか？
• RQ4 リアルタイムデプロイメントに適したU-Netベースの音声強調モデルにおいて、計算効率はどの程度向上できるか？
• RQ5 学習済みの二重マスクを用いて、推論時に出力におけるリバーブの割合を制御可能か？

主な発見

• 提案されたマルチスケール強調型コサイン類似度損失は、DNSチャレンジデータセット（リバーブあり）でSI-SDRを2.2 dB、WHAMR（r2dタスク）で1.09 dB向上させた。
• 位相に配慮したβシグモイドマスクは、r2dタスクで64%の位相向上を達成し、クリアな信号との位相整合性が顕著に向上した。
• 最適化されたリアルタイムU-Netモデル（model10）は、1フレームあたり4.32 msの推論時間を達成し、ベースラインと比較して計算オーバーヘッドを88.9%削減した。
• 主観評価のMOSスコアは、3.36（causal-NRT）および3.24（causal-RT）に達し、リアルタイム制約下でも高い知覚的品質を示した。
• アブレーションスタディにより、提案損失関数が複数のベンチマークでノイズ除去およびエコー除去タスクの両方において、ベースライン損失を一貫して上回ることが確認された。
• 本手法はDNSおよびWHAMRデータセットの両方で最先端の性能を達成し、SI-SDRは17.91（DNSリバーブあり）および10.40（WHAMR r2d）、PESQは3.01および3.16をそれぞれ達成した。