[論文レビュー] ADL-MVDR: All deep learning MVDR beamformer for target speech separation

Zhuohuang Zhang, Yong Xu+4 more|arXiv (Cornell University)|Aug 16, 2020

Speech and Audio Processing参考文献 32被引用数 7

ひとこと要約

本論文では、行列逆行列と固有値分解を2つの再帰的ニューラルネットワーク（RNN）で置き換えることで、安定したエンド・ツー・エンドの学習を可能にする、すべての深層学習に基づくMVDRビームフォーマーであるADL-MVDRを提案する。この手法は、顕著に低い残存ノイズと最小限の非線形歪みを実現し、純粋にニューラルネットワークベースのシステムに比べてASR精度を42%向上させ、すべての評価指標で従来のMVDRを上回る性能を発揮する。

ABSTRACT

Speech separation algorithms are often used to separate the target speech from other interfering sources. However, purely neural network based speech separation systems often cause nonlinear distortion that is harmful for automatic speech recognition (ASR) systems. The conventional mask-based minimum variance distortionless response (MVDR) beamformer can be used to minimize the distortion, but comes with high level of residual noise. Furthermore, the matrix operations (e.g., matrix inversion) involved in the conventional MVDR solution are sometimes numerically unstable when jointly trained with neural networks. In this paper, we propose a novel all deep learning MVDR framework, where the matrix inversion and eigenvalue decomposition are replaced by two recurrent neural networks (RNNs), to resolve both issues at the same time. The proposed method can greatly reduce the residual noise while keeping the target speech undistorted by leveraging on the RNN-predicted frame-wise beamforming weights. The system is evaluated on a Mandarin audio-visual corpus and compared against several state-of-the-art (SOTA) speech separation systems. Experimental results demonstrate the superiority of the proposed method across several objective metrics and ASR accuracy.

研究の動機と目的

• 純粋にニューラルネットワークベースの音声分離システムにおける非線形歪みの問題に取り組み、自動音声認識（ASR）性能に悪影響を及げる要因を解消すること。
• 従来のMVDRビームフォーマーにおける残存ノイズを低減すること。これは、歪みなしビームフォーミングであるがために音声品質が制限される要因である。
• 深層ニューラルネットワークと同時に学習する際のMVDRにおける行列逆行列と固有値分解の数値的計算の安定性を高めること。
• フレーム単位のビームフォーミング重みを活用するエンド・ツー・エンドで学習可能なフレームワークを構築すること。
• RNNを用いてMVDRの解を学習し、従来の数学的演算を置き換える可能性を検討すること。

提案手法

• ADL-MVDRフレームワークは、従来のMVDRの行列逆行列と主成分分析（PCA）を、逆ノイズ共分散行列とスティアリングベクトルのPCAを再帰的に推定する2つのRNNに置き換える。
• 共分散行列推定と共同学習の安定性を高めるために、従来の時間周波数マスクの代わりに複素比フィルタリング（cRF）手法が用いられる。
• フロントエンドのフィルタ推定器は、音声とノイズのフレーム単位共分散行列を予測するConv-TasNetの変種である。
• RNNはフロントエンドネットワークとエンド・ツー・エンドで学習され、適応的でフレーム単位のビームフォーミング重み推定が可能になる。
• MVDRビームフォーミング重みは $ \mathbf{h}(f) = \frac{\mathbf{\Phi}_{\text{NN}}^{-1}(f)\boldsymbol{v}(f)}{\mathbf{v}^{\mathrm{H}}(f)\mathbf{\Phi}_{\text{NN}}^{-1}(f)\mathbf{v}(f)} $ で計算され、逆共分散はRNNによって予測される。
• システムは、音声分離とビームフォーミング性能の両方を最適化するための統合損失関数を用いて学習される。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンド学習中に数値的安定性を保ちながら、RNNがMVDRビームフォーマーにおける行列逆行列とPCAを効果的に置き換えられるか。
• RQ2 従来のMVDRを深層学習ベースの解決策に置き換えることで、非線形歪みを導入せずに残存ノイズを低減できるか。
• RQ3 提案されたADL-MVDRフレームワークは、最先端のニューラルネットワークベースおよびハイブリッドMVDRシステムと比較して、評価指標およびASR精度の面で優れているか。
• RQ4 複素比フィルタリング（cRF）を用いることで、学習プロセスの安定性が向上し、MVDRの共分散行列推定が改善されるか。
• RQ5 RNNによるフレーム単位のビームフォーミング重み推定は、発話全体またはチャンク単位の重みと比較して、残存ノイズ低減においてより効果的か。

主な発見

• ADL-MVDRシステムは語誤り率（WER）を42%相対的に改善し、22.07%（cRFを用いたNN）から12.73%に低下させた。
• 次に優れたベースライン（cRFを用いたMVDR）に比べてPESQが0.32ポイント向上し、3.42に達し、Si-SNRは14.80 dBに達し、すべてのベースラインを上回った。
• 極端な状況（話者間の角度が0–15°）下でも、PESQスコアが62%向上（1.88から3.04に）し、密着干渉者に対して高い耐性を示した。
• ADL-MVDRシステムは残存ノイズを顕著に低減し、MVDRにcRFを適用した場合の14.04 dB、cRFを用いたNNの13.01 dBと比較して、SDRが15.45 dBに達した。
• cRFベースのADL-MVDRシステムは、cRMベースのシステムをすべての指標で上回り、Si-SNRで0.27 dBの向上とWERで0.42%の改善を達成した。
• 提案手法は、歪みのない目標音声を維持しながらノイズを最小限に抑えることができ、最低のWERとすべての評価指標で最高スコアを達成したことが確認された。