[論文レビュー] DeepFilterNet: Perceptually Motivated Real-Time Speech Enhancement

Hendrik Schröter, Tobias Rosenkranz+2 more|arXiv (Cornell University)|May 14, 2023

Speech and Audio Processing被引用数 15

ひとこと要約

DeepFilterNet は coarse envelope enhancement と multi-frame complex filtering を組み合わせてリアルタイムの単一チャネル音声強化を実現し、ノートブックCPUでリアルタイムファクター0.19を達成し、最先端のベンチマークに匹敵する。

ABSTRACT

Multi-frame algorithms for single-channel speech enhancement are able to take advantage from short-time correlations within the speech signal. Deep Filtering (DF) was proposed to directly estimate a complex filter in frequency domain to take advantage of these correlations. In this work, we present a real-time speech enhancement demo using DeepFilterNet. DeepFilterNet's efficiency is enabled by exploiting domain knowledge of speech production and psychoacoustic perception. Our model is able to match state-of-the-art speech enhancement benchmarks while achieving a real-time-factor of 0.19 on a single threaded notebook CPU. The framework as well as pretrained weights have been published under an open source license.

研究の動機と目的

• 心理音響学と音声産生知識を活用してリアルタイム音声強化を導く。
• 一般家庭用CPUでのリアルタイム展開を可能にするための効率性向上。
• 包絡ベースの強化とディープフィルタリングを組み合わせて、音声の包絡と周期性の両方を保持する。

提案手法

• 48 kHz で動作する2段階の音声強化フレームワーク、20 ms の窓と 10 ms のホップ。
• 第一段はリアル周波数帯で音声包絡を強化するために、32 ERBスケールのゲインを予測。
• 第二段は最も低い96周波数ビン（約5 kHz まで）に適用される5タップの複素周波数領域フィルタを予測。
• 先読みを2フレーム使用し、合計待ち時間を40 msとする。
• 短時間相関を利用するために、周波数領域で直接複素 DF フィルタを推定。
• 特定のノイズ条件下で段を適応的に無効化するために局所SNRを推定。

Figure 1: DeepFilterNet Framework.

実験結果

リサーチクエスチョン

• RQ1 二段階アプローチ（ERB-ドメイン包絡強化とマルチフレーム複素フィルタリング）がリアルタイム性能を維持しつつ最先端の音声強化と同等になり得るか。
• RQ2 心理音響的手がかり（ERB、対数音量/周波数）の活用が知覚的ゲインと計算効率にどのように影響するか。
• RQ3 DeepFilterNet の標準ベンチマークでのリアルタイム性能と客観的指標の結果はどうなるか。
• RQ4 推定SNRに基づく適応ゲート（段を無効化すること）が品質を保ちつつ計算量を節約するのに有効か。

主な発見

モデル	PESQ	CSIG	CBAK	COVL	STOI
DeepFilterNet [3]	2.81	4.14	3.31	3.46	0.942
DeepFilterNet2 [7]	3.08	4.30	3.40	3.699	0.9429
DeepFilterNet3	3.17	4.34	3.61	3.77	0.944

• Voicebank+Demand テストセットで競争力のある客観指標を達成、DeepFilterNet3 は PESQ 3.17、CSIG 4.34、CBAK 3.61、COVL 3.77、STOI 0.944。
• 以前のバリアント（DeepFilterNet および DeepFilterNet2）を上回る指標が複数、例えば PESQ が 2.81 から 3.17、STOI が 0.942 から 0.944 に向上。
• i5-8250U CPU で単一スレッドの RT-factor 0.19 によるリアルタイム能力を実証。
• ライブデモを提供し、ビデオ通話中のリアルタイムノイズ低減の Linux LADSPA プラグインとしての統合の可能性。

Figure 2: DeepFilterNet Live Demo.