[論文レビュー] Sequential Multi-Frame Neural Beamforming for Speech Separation and Enhancement

Zhong-Qiu Wang, Hakan Erdoğan+6 more|arXiv (Cornell University)|Nov 18, 2019

Speech and Audio Processing参考文献 35被引用数 5

ひとこと要約

本稿では、再帰的で複数フレームにわたるニューラルビームフォーミングを提案する。この手法は、深層ニューラルネットワーク（DNN）に基づくスペクトル分離と複数フレームにわたる時間不変ビームフォーミングを交互に実行することで、混响環境下での音声分離および強調処理を向上させる。安定化されたSNR損失、TDCN++アーキテクチャ、およびビームフォーミングにおける複数フレームの文脈を活用することで、4つのタスク全体でスケール不変SNRが平均2.75 dB向上し、ダイアライゼーション誤差率が14.2%絶対的に低減され、実際のLibriCSSデータに対して強力なベースラインを上回る性能を達成した。

ABSTRACT

This work introduces sequential neural beamforming, which alternates between neural network based spectral separation and beamforming based spatial separation. Our neural networks for separation use an advanced convolutional architecture trained with a novel stabilized signal-to-noise ratio loss function. For beamforming, we explore multiple ways of computing time-varying covariance matrices, including factorizing the spatial covariance into a time-varying amplitude component and a time-invariant spatial component, as well as using block-based techniques. In addition, we introduce a multi-frame beamforming method which improves the results significantly by adding contextual frames to the beamforming formulations. We extensively evaluate and analyze the effects of window size, block size, and multi-frame context size for these methods. Our best method utilizes a sequence of three neural separation and multi-frame time-invariant spatial beamforming stages, and demonstrates an average improvement of 2.75 dB in scale-invariant signal-to-noise ratio and 14.2% absolute reduction in a comparative speech recognition metric across four challenging reverberant speech enhancement and separation tasks. We also use our three-speaker separation model to separate real recordings in the LibriCSS evaluation set into non-overlapping tracks, and achieve a better word error rate as compared to a baseline mask based beamformer.

研究の動機と目的

• 再帰的で複数フレームにわたるニューラルビームフォーミングを提案する。この手法は、スペクトル処理と空間処理を交互に実行することで、混響環境下の複数音源における音声分離および強調処理を向上させる。
• 単一段階のビームフォーミングやマスクベースの手法の限界を克服するため、複数フレームの文脈と適応的共分散推定を組み込む。
• マイクロホン配置や実世界の録音条件が異なる状況でも一般化可能な、幾何学に依存しないロバストなモデルを開発する。
• 音声分離品質の段階的改善により、最終的なASRタスクにおける単語誤り率（WER）を低減する。

提案手法

• 本手法は、DNNベースの時間周波数マスキングとマルチチャネルウィーナーフィルタリング（MCWF）を交互に実行し、最大3段階の分離およびビームフォーミングを段階的に適用する。
• TDCN++ネットワークのマスク予測と分離性能の向上を図るため、安定化された信号対雑音比（SNR）損失関数を用いて学習を行う。
• 時間不変ビームフォーミングでは、より大きなウィンドウで推定された複数フレームの共分散行列を用いることで、空間分解能の向上とノイズ抑制を実現する。
• 共分散推定の前段階でフレームを集約することで、複数フレームの文脈をビームフォーマーに組み込み、ノイズおよび混響に対するロバスト性を向上させる。
• マスクネットワーク（小規模なウィンドウ）とビームフォーマー（大規模なウィンドウ）の両方で異なるSTFTパラメータを用いることで、スペクトル処理と空間処理の独立した最適化を可能にする。
• モデルは合成混合音声とLibri-Lightデータで学習させ、マイクロホンアレイや部屋の幾何構造が異なる実世界の不一致条件にも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 DNNベースのスペクトル分離とビームフォーミングを交互に実行することで、混響環境下の音声分離タスクの性能が向上するか？
• RQ2 ビームフォーミングに複数フレームの文脈を組み込むことで、単一フレーム手法と比較して分離および強調品質にどのような影響を与えるか？
• RQ3 マスク予測とビームフォーミングに別々のSTFTパラメータを使用することで、共通パラメータを用いる場合と比較して性能が向上するか？
• RQ4 合成データで学習したモデルが、未知のマイクロホン配置や部屋の音響特性を持つ実世界の録音にどの程度一般化できるか？
• RQ5 再帰的で複数フレームにわたるビームフォーミングは、マスクベースのビームフォーミングベースラインと比較して、エンドツーエンドASRシステムにおける単語誤り率（WER）を低減できるか？

主な発見

• 提案された再帰的で複数フレームにわたるビームフォーミング手法は、4つの挑戦的な混響環境下の音声分離タスクにおいて、平均してスケール不変信号対雑音比（SI-SNR）が2.75 dB向上した。
• 強力なベースラインと比較して、ダイアライゼーション誤差率（DER）が14.2%絶対的に低減され、より優れた音源分離品質を示した。
• LibriCSS評価セットでは、エンドツーエンドASRモデルを用いて、制約付きパーミュテーション単語誤り率（cpWER）が12.70%に達し、ベースラインのマスクベースMVDRビームフォーマー（13.37%）を上回った。
• 最高性能を示した設定は、大規模な文脈ウィンドウを用いた3段階のDNNベースマスキングと複数フレーム時間不変ビームフォーミングを組み合わせたものであった。
• 合成データで学習したにもかかわらず、マイクロホン配置の不一致や未知の部屋の音響特性を持つ実録音に対しても、良好な一般化性能を示し、LibriCSSデータセットでも高い性能を達成した。
• 時間不変共分散行列を用いた複数フレームビームフォーミングは、単一フレームおよび時間変化型の代替手法を著しく上回り、特に動かない音源に対して顕著な優位性を示した。