[論文レビュー] DPCRN: Dual-Path Convolution Recurrent Network for Single Channel Speech Enhancement

Xiaohuai Le, Hongsheng Chen+2 more|arXiv (Cornell University)|Jul 12, 2021

Speech and Audio Processing参考文献 32被引用数 7

ひとこと要約

本論文は、時間周波数ドメインにおける単一チャネル音声強調のための二重パス畳み込み再帰型ネットワーク（DPCRN）を提案する。CRNとDPRNNの長所を組み合わせ、フレーム内でのスペクトルパターンとフレーム間の時間的依存性をモデル化する。わずか0.8Mパラメータで、Interspeech 2021 DNSチャレンジの盲検定義セットにおいて平均評価スコア（MOS）3.57を達成し、広帯域シナリオトラックで3位となった。

ABSTRACT

The dual-path RNN (DPRNN) was proposed to more effectively model extremely long sequences for speech separation in the time domain. By splitting long sequences to smaller chunks and applying intra-chunk and inter-chunk RNNs, the DPRNN reached promising performance in speech separation with a limited model size. In this paper, we combine the DPRNN module with Convolution Recurrent Network (CRN) and design a model called Dual-Path Convolution Recurrent Network (DPCRN) for speech enhancement in the time-frequency domain. We replace the RNNs in the CRN with DPRNN modules, where the intra-chunk RNNs are used to model the spectrum pattern in a single frame and the inter-chunk RNNs are used to model the dependence between consecutive frames. With only 0.8M parameters, the submitted DPCRN model achieves an overall mean opinion score (MOS) of 3.57 in the wide band scenario track of the Interspeech 2021 Deep Noise Suppression (DNS) challenge. Evaluations on some other test sets also show the efficacy of our model.

研究の動機と目的

• モデルサイズが限られた状況での時間周波数表現における長距離時間的依存性のモデル化に取り組む。
• パラメータ効率の良いディープラーニングアーキテクチャを用いて、低SNRおよび混响環境下での音声品質と聞き取りやすさを向上させる。
• 計算複雑性を低減することでリアルタイム推論を可能にするとともに、高い性能を維持する。
• 時間周波数ドメインにおける局所的スペクトルパターン学習のための畳み込みネットワークと、長期間のシーケンスモデリングのための二重パスRNNの長所を統合する。

提案手法

• DPCRNモデルは、CRN内の標準的なRNNを二重パスRNN（DPRNN）モジュールに置き換えることで、フレーム内（チャンク内）およびフレーム間（チャンク間）の依存性を別々にモデル化する。
• 1次元畳み込み層からの特徴量がDPRNNモジュールに供給され、スペクトログラムフレームをチャンクに分割して処理することで、シーケンス長を短縮し、学習効率を向上させる。
• 処理された特徴量から強化された音声波形を再構築するために、逆畳み込みデコーダーを用いる。出力は複素比マスク（CRM）となる。
• 損失関数には、時間周波数平均二乗誤差（TF-MSE）と知覚的目的関数を組み合わせ、音声品質と聞き取りやすさを向上させる。
• 入力特徴量の周波数次元を50に低減することで、スペクトル分解能とリアルタイム処理要件の両立を図る。
• CRM推定を主な出力として、ノイズの多い音声スペクトログラムを入力とし、クリアな音声を教師として、エンドツーエンドで学習する。

Figure 1: (a) Proposed DPCRN model and (b) the diagram of the DPRNN module. “f”, “t” and “c” represent frequency, time and channel axes, respectively.

実験結果

リサーチクエスチョン

• RQ1 標準的なRNNと比較して、二重パスRNNアーキテクチャは時間周波数ドメインの音声強調におけるスペクトルモデリングを改善できるか？
• RQ2 CRNとDPRNNを組み合わせることで、既存の最先端モデルと比較して、より少ないパラメータ数で優れた性能を達成できるか？
• RQ3 DPCRNモデルは、低SNRおよび困難なノイズ条件において、ベースラインと比較してどのように性能を発揮するか？
• RQ4 最小限のパラメータ数と低遅延で、リアルタイムアプリケーションに適した競争力のある結果を達成できるか？

主な発見

• DPCRN-2は、DNSチャレンジ開発セットでDNSMOSスコア3.472を達成し、NSNet2（3.243）、DTLN（3.226）、DCCRN（3.373）を上回った。
• DNS盲検定義セットでは、DPCRNは全体でMOS 3.57を達成し、広帯域シナリオトラックで3位となった。音声MOSは3.76、背景ノイズMOSは4.34であった。
• シミュレートされたWSJ0-MUSANテストセットでは、DPCRN-1が低SNRレベル（≤0 dB）でDCCRNを上回り、悪条件下でも頑健であることが示された。
• WSJ0-NOISEX92テストセットでは、DPCRN-1がPESQ、STOI、SDRのすべての指標ですべてのベースラインを上回り、DPRNNによるノイズの破壊的影響のモデル化の利点を確認した。
• DPCRN-2はDPCRN-1よりも高いPESQとSTOIを達成したが、わずかに低いSDRであった。これは、組み合わせ損失関数が知覚的品質を向上させたことを示している。
• モデルの推論時間は、クアッドコアIntel i5-6300HQ上で1フレームあたり8.9 msであり、計算複雑度は7.45 GFLOPSで、リアルタイムデプロイメントをサポートしている。