[論文レビュー] Leveraging Low-Distortion Target Estimates for Improved Speech Enhancement

Zhong-Qiu Wang, Gordon Wichern+1 more|arXiv (Cornell University)|Oct 1, 2021

Speech and Audio Processing参考文献 45被引用数 12

ひとこと要約

本稿では、低歪みの推定結果（例：MVDRビームフォーミング、WPE、FCP）を追加特徴量として活用することで、位相と振幅推定を向上させる2段階のディーブラーニングフレームワークを提案する。線形で低歪みのアルゴリズムの位相信頼性を活用することで、特に低SNRおよび混响環境下でも音声品質と聞き取りやすさが顕著に向上し、評価タスクで最大84.9%の位相差符号正答率および15.9 dBのSI-SDRを達成する。

ABSTRACT

A promising approach for multi-microphone speech separation involves two deep neural networks (DNN), where the predicted target speech from the first DNN is used to compute signal statistics for time-invariant minimum variance distortionless response (MVDR) beamforming, and the MVDR result is then used as extra features for the second DNN to predict target speech. Previous studies suggested that the MVDR result can provide complementary information for the second DNN to better predict target speech. However, on fixed-geometry arrays, both DNNs can take in, for example, the real and imaginary (RI) components of the multi-channel mixture as features to leverage the spatial and spectral information for enhancement. It is not explained clearly why the linear MVDR result can be complementary and why it is still needed, considering that the DNNs and the beamformer use the same input, and the DNNs perform non-linear filtering and could render the linear filtering of MVDR unnecessary. Similarly, in monaural cases, one can replace the MVDR beamformer with a monaural weighted prediction error (WPE) filter. Although the linear WPE filter and the DNNs use the same mixture RI components as input, the WPE result is found to significantly improve the second DNN. This study provides a novel explanation from the perspective of the low-distortion nature of such algorithms, and finds that they can consistently improve phase estimation. Equipped with this understanding, we investigate several low-distortion target estimation algorithms including several beamformers, WPE, forward convolutive prediction, and their combinations, and use their results as extra features to train the second network to achieve better enhancement. Evaluation results on single- and multi-microphone speech dereverberation and enhancement tasks indicate the effectiveness of the proposed approach, and the validity of the proposed view.

研究の動機と目的

• 音声強調における正確な位相推定、特に音声の聞き取りやすさを損なう位相誤差が顕著になる低SNRおよび混響環境下での挑戦に応えること。
• DNNが非線形フィルタリング能力を有するにもかかわらず、線形で低歪みの信号処理手法（例：MVDR、WPE、FCP）を特徴量として用いることで補完的利点をもたらす理由を説明すること。
• 低歪み推定が、特に厳しい音響環境下で、2段階目のDNNが正確な位相差および振幅スペクトルを予測する能力を向上させることを示すこと。
• 従来の線形アルゴリズムとディープラーニングをハイブリッドアーキテクチャで組み合わせることの有効性を検証し、固定のアレイ形状や冗長な計算に依存しないこと。

提案手法

• フレームワークは2段階のDNNを用いる：最初のネットワークがターゲット音声推定値を予測し、その出力を用いて低歪みビームフォーミング（例：MVDR）や線形フィルタリング（例：WPE、FCP）の出力を計算する。
• これらの線形的で低歪みのアルゴリズムの出力（例：MVDR、WPE、FCP）を、2段階目のDNNの追加入力特徴量として用い、振幅および位相推定の精度を向上させる。
• 低歪みアルゴリズムは、時間不変性および最小位相歪み特性により、混合信号よりも真のターゲット位相に近い位相推定値を生成するという事実を活用する。
• 2段階目のDNNは、元のマルチチャネル混合信号（実部・虚部成分）に加え、低歪み推定値を入力特徴量として用い、ターゲット音声を予測するように訓練される。
• モノラル（WPE）およびバイナリ・マルチマイクフォン（MVDR、MCWF）構成の両方で評価され、ビームフォーマーや予測フィルタの組み合わせにより性能を最大化する。
• 理論的および実験的分析により、低歪み推定が、高品質な音声再構成の鍵たる位相差符号予測を向上させることを示す。

実験結果

リサーチクエスチョン

• RQ1 DNNが非線形フィルタリング能力を有するにもかかわらず、MVDR や WPE といった低歪み線形アルゴリズムがDNNベース音声強調システムにおける特徴量として用いられる際、なぜ補完的利得をもたらすのか？
• RQ2 低歪み推定は、特にターゲット信号と混合信号間の位相差の符号予測において、どの程度位相推定を向上させるのか？
• RQ3 異なる低歪みアルゴリズム（例：MVDR、WPE、FCP、MCWF）を補助的特徴量として用いた場合、2段階DNNシステムの性能はどのように変化するか？
• RQ4 本手法は、均一な円形アレイ形状や冗長な最初の段階の計算に依存せずに、既存のMISO-BF-MISOシステムを上回る性能を達成できるか？
• RQ5 低歪み推定は、音声品質と聞き取りやすさの主要要因たる位相差符号予測の精度に、どの程度寄与するか？

主な発見

• MVDR、WPE、FCP などの低歪み推定値を2段階目のDNNの追加特徴量として用いることで、音声強調性能が顕著に向上し、強調タスクで最大15.9 dBのSI-SDR、初期音響除去タスクで20.1 dBのpSNRを達成する。
• MISO 1 + MCWF + WPE + MISO 9 の構成が84.9%の位相差符号正答率（PDSAcc）を達成し、MISO 1 + MVDR + MISO 2（77.3% PDSAcc）やMISO 1 + MISO 3（72.9% PDSAcc）を上回る。
• 最初のDNNの出力がすでに強固であっても、低歪み推定値を追加することで測定可能な向上（例：MVDRを用いた13.5 dB pSNR vs. 無しで12.9 dB）が得られ、重複しない情報が含まれていることが示される。
• 単一マイクおよびマルチマイクタスクの両方で優れた性能を達成し、特にFCPと組み合わせた畳み込みビームフォーマーが初期音響除去において最大の向上をもたらす。
• 低歪みアルゴリズムは、信頼性が高く、攻撃的でない強調結果を提供し、DNNが絶対位相差およびその符号をより正確に推定するのを支援する。特に低SNR領域で顕著である。
• 本研究は、新たな説明を提供する：低歪みアルゴリズムは混合信号よりもターゲットに近い推定値を生成するが、その信頼性がDNNの位相および振幅予測能力を向上させる。