[論文レビュー] Narrow-band Deep Filtering for Multichannel Speech Enhancement

Xiaofei Li, Radu Horaud|arXiv (Cornell University)|Nov 25, 2019

Speech and Audio Processing参考文献 40被引用数 16

ひとこと要約

本稿では、周波数チャンネルごとに独立して処理する共有の長短時変換（STFT）ドメインLSTMネットワークを用いた、狭帯域ディープフィルタリングというマルチチャネル音声強調手法を提案する。ノイズが混在するマルチチャネルSTFT係数を入力とし、マグニチュードレシオマスク、複素スペクトル、空間フィルタをターゲットにすることで、パrameter数が少なく、ノイズタイプや話者にわたる一般化性能に優れた音声強調および自動音声認識（ASR）性能を達成する。

ABSTRACT

In this paper, we address the problem of multichannel speech enhancement in the short-time Fourier transform (STFT) domain. A long short-time memory (LSTM) network takes as input a sequence of STFT coefficients associated with a frequency bin of multichannel noisy-speech signals. The network's output is the corresponding sequence of single-channel cleaned speech. We propose several clean-speech network targets, namely, the magnitude ratio mask, the complex STFT coefficients and the (smoothed) spatial filter. A prominent feature of the proposed model is that the same LSTM architecture, with identical parameters, is trained across frequency bins. The proposed method is referred to as narrow-band deep filtering. This choice stays in contrast with traditional wide-band speech enhancement methods. The proposed deep filtering is able to discriminate between speech and noise by exploiting their different temporal and spatial characteristics: speech is non-stationary and spatially coherent while noise is relatively stationary and weakly correlated across channels. This is similar in spirit with unsupervised techniques, such as spectral subtraction and beamforming. We describe extensive experiments with both mixed signals (noise is added to clean speech) and real signals (live recordings). We empirically evaluate the proposed architecture variants using speech enhancement and speech recognition metrics, and we compare our results with the results obtained with several state of the art methods. In the light of these experiments we conclude that narrow-band deep filtering has very good speech enhancement and speech recognition performance, and excellent generalization capabilities in terms of speaker variability and noise type.

研究の動機と目的

• マルチチャネル音声強調におけるワイドバンドディープラーニング手法の限界、特に処理アーティファクトへの感受性と高いパrameter数を解消すること。
• 周波数チャンネルごとに独立して処理する狭帯域処理が、教師なし手法の一般化優位性を保ちつつディープラーニングの利点を活用できるかを検討すること。
• 狭帯域マルチチャネルLSTMフレームワーク内での、さまざまなネットワークターゲット（例：マグニチュードレシオマスク、複素STFT、空間フィルタ）の有効性を調査すること。
• すべての周波数チャンネルに同一の共有LSTMアーキテクチャを適用することで、話者・ノイズ固有の適応を必要とせず、高い性能を達成できることを示すこと。
• 狭帯域設定における、さまざまなトレーニングターゲットを使用した場合の、音声強調品質とASR性能のトレードオフを評価すること。

提案手法

• 本手法は、各STFT周波数チャンネルを、共有の長短時変換（STFT）ドメインLSTMネットワークを用いて独立して処理する。
• LSTMの入力は、特定の周波数チャンネルに対するマルチチャネルSTFT係数の時系列系列であり、出力はクリアな音声推定値の時系列系列である。
• 4つのトレーニングターゲットを検討した：マグニチュードレシオマスク（MRM）、複素STFT係数（CC）、空間フィルタ（SF）、平滑化された空間フィルタ（SSF）。
• LSTMの記憶セルを用いて時間的ダイナミクスをモデル化し、マルチチャネル入力を通じて空間的多様性を活用する。音声は非定常的かつコherentであると仮定し、ノイズは定常的かつ非相関的とみなす。
• すべての周波数チャンネルで同一のネットワークアーキテクチャとパラメータを用いるため、パラメータ効率が高く、一般化性能に優れる。
• 全帯域手法とは異なり、周波数間相関をモデル化しないため、ワイドバンド処理アーティファクトを回避する。

実験結果

リサーチクエスチョン

• RQ1 狭帯域で周波数ごとに処理するディープフィルタリング手法は、マルチチャネル音声強調においてワイドバンドディープラーニング手法を上回ることができるか？
• RQ2 狭帯域設定における、さまざまなネットワークターゲット（MRM、CC、SF、SSF）が音声強調および自動音声認識（ASR）性能に与える影響は何か？
• RQ3 すべての周波数チャンネルに同一の共有LSTMをトレーニングすることで、性能を維持しながらモデルの複雑さとデータ要件を低減できるか？
• RQ4 ワイドバンド手法と比較して、狭帯域アプローチは話者個体差やノイズタイプにわたる一般化性能をどの程度発揮するか？
• RQ5 ワイドバンドスペクトルモデルの欠如により、ASR性能を低下させる処理アーティファクトを低減できるか？

主な発見

• 狭帯域ディープフィルタリング手法は、ワイドバンドモデル（例：WB-BLSTM2-SF：5460万パラメータ）と比較して、わずか120万パラメータで最先端の音声強調性能を達成した。
• BLSTM-SSFバージョンは、4チャネル評価セットで語誤り率（WER）8.20％を達成し、高度なビームフォーミング手法NN-GEV（WER：8.06％）と同等の性能を示したが、はるかに小型なネットワークを用いた。
• 2チャネルケースでは、提案手法がBLSTM-SSFを用いてWER 8.76％を達成し、ビームフォーマーおよびワイドバンド手法を上回るASR性能を示した。
• 複素係数（CC）および空間フィルタ（SF）ターゲットは、特に4チャネル環境下で、マグニチュードレシオマスク（MRM）よりも優れた音声強調性能を示した。
• 空間フィルタを平滑化（SSF）することで、時間的ジッタを低減し、ASR性能が向上したが、やや音声強調の客観的指標が劣化した。
• モデルは、話者の変動やノイズタイプにわたる一般化性能が高く、再トレーニングなしで強力な性能を維持した。これは、狭帯域かつパラメータ共有設計によるものである。