[論文レビュー] FullSubNet: A Full-Band and Sub-Band Fusion Model for Real-Time Single-Channel Speech Enhancement

Xiang Hao, Xiangdong Su+2 more|arXiv (Cornell University)|Oct 29, 2020

Speech and Audio Processing参考文献 24被引用数 12

ひとこと要約

FullSubNet は、逐次アーキテクチャを用いてフルバンドとサブバンド特徴を統合するリアルタイムで単一チャネルの音声強調モデルである。まずフルバンドモデルがグローバルなスペクトル的文脈と長距離依存関係を捉え、その後にその出力をサブバンドモデルに与え、局所的なサブバンド特徴（信号の定常性や局所的スペクトルパターンなど）と統合する。この手法は、DNS Challenge 2020 データセットにおいて最先端の性能を達成し、客観的指標で上位の手法を上回りながらも、低遅延を維持している。

ABSTRACT

This paper proposes a full-band and sub-band fusion model, named as FullSubNet, for single-channel real-time speech enhancement. Full-band and sub-band refer to the models that input full-band and sub-band noisy spectral feature, output full-band and sub-band speech target, respectively. The sub-band model processes each frequency independently. Its input consists of one frequency and several context frequencies. The output is the prediction of the clean speech target for the corresponding frequency. These two types of models have distinct characteristics. The full-band model can capture the global spectral context and the long-distance cross-band dependencies. However, it lacks the ability to modeling signal stationarity and attending the local spectral pattern. The sub-band model is just the opposite. In our proposed FullSubNet, we connect a pure full-band model and a pure sub-band model sequentially and use practical joint training to integrate these two types of models' advantages. We conducted experiments on the DNS challenge (INTERSPEECH 2020) dataset to evaluate the proposed method. Experimental results show that full-band and sub-band information are complementary, and the FullSubNet can effectively integrate them. Besides, the performance of the FullSubNet also exceeds that of the top-ranked methods in the DNS Challenge (INTERSPEECH 2020).

研究の動機と目的

• 純粋なフルバンドモデルとサブバンドモデルの限界を解決すること：フルバンドモデルは局所的パターンや定常性のモデリングに欠けるが、サブバンドモデルは長距離にわたるバンド間依存関係を捉えられない。
• 両者の表現の補完的特長を統合するリアルタイムでエンド・トゥ・エンドで学習可能な統合モデルを設計すること。
• グローバルなスペクトル的文脈と局所的信号特性（定常性、スペクトルパターンなど）を同時に最適化することで、音声の質と聞き取りやすさを向上させること。
• 特に WB-PESQ や SI-SDR といった客観的指標において、既存の最先端手法を上回る性能を、DNS Challenge 2020 ベンチマークで達成すること。

提案手法

• モデルは二重ストリームアーキテクチャを採用：フルバンドモデルは全周波数スペクトルを処理し、グローバルな文脈と長距離依存関係を捉える。
• サブバンドモデルは各周波数チャンネルを独立して処理し、周囲の 2N+1 個の周波数チャンネル（コンテキストを含む）の局所的窓を用いることで、信号の定常性や局所的スペクトルパターンをモデリングできる。
• フルバンドモデルの出力を、サブバンドモデルの入力として用いるために、フルバンド出力と局所的サブバンド入力（周波数チャンネルとその隣接周波数のマグニチュードスペクトル）を連結する。
• フルバンドモデルとサブバンドモデルは、直列接続された形で同時に学習される：フルバンドモデルの出力がサブバンドモデルへの補助入力として供給される。
• フルバンドモデルは2層LSTMを、サブバンドモデルも2層LSTMを用い、フルバンドの出力がサブバンドネットワークの文脈特徴として機能する。
• 教師あり損失関数を用いてエンド・トゥ・エンドで学習され、最終出力は予測されたクリアなマグニチュードスペクトルである。

実験結果

リサーチクエスチョン

• RQ1 フルバンドとサブバンド表現を統合することで、単独で用いた場合よりも音声強調性能が向上するか？
• RQ2 グローバルなスペクトル的文脈（フルバンド）と局所的信号定常性（サブバンド）を統合することで、低SNRのサブバンドのモデリングが改善されるか？
• RQ3 逐次接続された統合アーキテクチャは、リアルタイム処理を維持しながら、独立したフルバンドまたはサブバンドモデルを上回る性能を発揮できるか？
• RQ4 サブバンドモデルが学習する情報（例：定常性、局所的パターン）は、フルバンドモデルが捉える情報と補完的であるか？
• RQ5 提案された統合モデルは、客観的指標とリアルタイム性能の両面で、最先端の手法を上回ることができるか？

主な発見

• リバーブありテストセットにおいて、FullSubNet は WB-PESQ 2.969、SI-SDR 15.750 を達成し、サブバンドモデル（WB-PESQ: 2.650、SI-SDR: 14.673）およびフルバンドモデル（WB-PESQ: 2.681、SI-SDR: 13.580）を大きく上回った。
• 非リバーブテストセットでは、FullSubNet は WB-PESQ 2.777、SI-SDR 17.290 を達成し、フルバンドモデル（WB-PESQ: 2.731、SI-SDR: 16.190）およびサブバンドモデル（WB-PESQ: 2.369、SI-SDR: 16.153）を上回った。
• パラメータ数が少ない（5.6M）にもかかわらず、フルバンドモデル（6.0M）を上回った。これは、サブバンドモジュールが重複しない独自の情報を提供していることを示している。
• DCCRN（RT-1、WB-PESQ 3.077）や PoCoNet（NRT-1、WB-PESQ 2.832）といった上位ランクのDNS Challenge手法を上回り、リバーブありセットで WB-PESQ（2.969）が高く、SI-SDR（15.750）も優れていた。
• 4コアCPU上で32msのフレーム処理時間（32msの遅延）でリアルタイム性能を達成し、DNS Challengeのリアルタイム要件を満たした。
• アブレーションスタディにより、フルバンドとサブバンド特徴の統合は相乗効果をもたらすことが確認された：フルバンドモデルは低SNR領域でのサブバンド性能を向上させ、サブバンドモデルはフルバンドの局所的ダイナミクスモデリングを強化した。