[論文レビュー] Real-time Denoising and Dereverberation with Tiny Recurrent U-Net

Hyeong-Seok Choi, Sungjin Park+4 more|arXiv (Cornell University)|Feb 5, 2021

Speech and Audio Processing参考文献 31被引用数 10

ひとこと要約

本稿では、位相に配慮した $\beta$-シグモイドマスクを用いてノイズ除去とアイルミネーションを統合的に実行する、軽量でリアルタイムな音声強調モデルであるTiny Recurrent U-Net (TRU-Net) を提案する。0.38百万パラメータ、量子化後サイズ362 KBという小さなサイズでありながら、ベンチマークデータセットで最先端の性能を達成しており、エッジデバイス上でも低遅延でオンライン推論が可能である。

ABSTRACT

Modern deep learning-based models have seen outstanding performance improvement with speech enhancement tasks. The number of parameters of state-of-the-art models, however, is often too large to be deployed on devices for real-world applications. To this end, we propose Tiny Recurrent U-Net (TRU-Net), a lightweight online inference model that matches the performance of current state-of-the-art models. The size of the quantized version of TRU-Net is 362 kilobytes, which is small enough to be deployed on edge devices. In addition, we combine the small-sized model with a new masking method called phase-aware $β$-sigmoid mask, which enables simultaneous denoising and dereverberation. Results of both objective and subjective evaluations have shown that our model can achieve competitive performance with the current state-of-the-art models on benchmark datasets using fewer parameters by orders of magnitude.

研究の動機と目的

• エッジデバイスへのデプロイに適した、軽量でリアルタイムな音声強調モデルの開発。
• 1段階で統合的かつエンドツーエンドのフレームワークで、同時にノイズ除去とアイルミネーションを実行可能にする。
• 最先端のモデルと比較して性能を損なわずに、モデルサイズと計算複雑度を低減する。
• 因果的構造を備えたアーキテクチャにより、ルックアヘッド遅延ゼロのオンライン推論を可能にする。
• 位相に配慮したマスクとマルチスケールの目的関数を用いて、耐障害性と聴取品質を向上させる。

提案手法

• 周波数軸方向のU-Netに1次元畳み込みニューラルネットワーク（1D-CNN）と周波数軸ゲート付き再帰ユニット（FGRU）を組み合わせ、スペクトル的依存関係を効率的にモデル化する。
• 時間軸ゲート付き再帰ユニット（TGRU）を用いて、周波数ビン全体にわたる共有パラメータで時間的ダイナミクスを捉える。
• ストライド付き1次元畳み込みとスキップ接続を採用し、特徴マップのダウンサンプリングおよびアップサンプリングを実現しながら解像度を保持する。
• 混合信号、目標信号、残差信号の間の三角不等式関係を強制することで、ノイズ除去とアイルミネーションを統合的に実現する位相に配慮した $\beta$-シグモイドマスク（PHM）を導入する。
• 動的レンジを低減し、音量の変動に対して耐性を高めるために、入力としてPCEN（チャンネル別エネルギー正規化）を用いる。
• 量子化によるモデル圧縮により、最終的なモデルサイズを362 KBにまで削減し、モバイルおよび組み込みデバイスへのデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 軽量で再帰的なU-Netアーキテクチャは、最小限の遅延でリアルタイムかつオンライン音声強調を達成できるか？
• RQ2 統一されたマスク戦略を用いて、1つのモデルが効果的にノイズ除去とアイルミネーションを同時に実行できるか？
• RQ3 提案された位相に配慮した $\beta$-シグモイドマスクは、従来の位相再利用手法と比較して、性能をどのように向上させるか？
• RQ4 0.38Mパラメータという小さなモデルが、大規模な最先端モデルと同等の性能を達成できるか、その程度はどの程度か？
• RQ5 PCENとマルチスケールの目的関数の使用は、困難な条件下でも耐障害性と聴取品質を向上させるか？

主な発見

• 合成ノイズなしデータセットにおいて、顕著に少ないパラメータ数を持つモデルの中で最高のPESQスコア（2.51）を達成した。
• 合成リバーブありデータセットでは、他のモデルと比較してパラメータ数が桁違いに少ないにもかかわらず、PESQ 2.51、SI-SDR 3.51を達成し、優れた性能を示した。
• WHAMRデータセットでは、TRU-Net（FP32）が聴取テストでMOS 3.32を達成し、ベースラインのNSnet2モデル（MOS 3.21）を上回った。
• 2.7 GHz CPU上では、1フレームの処理に1.97 msで処理が完了し、ルックアヘッド遅延ゼロを達成しており、リアルタイムデプロイに適している。
• 量子化済みTRU-Net（INT8）はモデルサイズを0.36 MBにまで削減しながらも高い性能を維持しており、エッジデバイスへのデプロイを可能にした。
• 位相に配慮した $\beta$-シグモイドマスクは、混合信号、目標信号、残差成分の幾何的関係を強制することで、信号の整合性を効果的に保持した。