[論文レビュー] W-Net BF: DNN-based Beamformer Using Joint Training Approach

Yuichiro Koyama, Bhiksha Raj|arXiv (Cornell University)|Oct 31, 2019

Speech and Audio Processing参考文献 28被引用数 4

ひとこと要約

本稿では、マスクベース手法の汎用性と直接フィルタ推定のフィルタ最適性を組み合わせるため、ノイズマスク付きリファレンス推定器とビームフォーミングフィルタ推定器を共同で学習するDNNベースのビームフォーマー、W-Net BFを提案する。静的および移動ノイズ源の両方で評価した結果、SNR、SDR、STOI、PESQの指標において、U-Net BFおよびBLSTM-GEVを上回り、空間的に非定常なノイズに対して優れたロバスト性を示した。

ABSTRACT

Acoustic beamformers have been widely used to enhance audio signals. The best current methods are DNN-powered variants of the generalized eigenvalue beamformer, and DNN-based filterestimation methods that directly compute beamforming filters. Both approaches, while effective, have blindspots in their generalizability. We propose a novel approach that combines both approaches into a single framework that attempts to exploit the best features of both. The resulting model, called a W-Net beamformer, includes two components: the first computes a noise-masked reference which the second uses to estimate beamforming filters. Results on data that include a wide variety of room and noise conditions, including static and mobile noise sources, show that the proposed beamformer outperforms other methods in all tested evaluation metrics.

研究の動機と目的

• 単一のマスク推定または直接フィルタ推定に依存する既存のDNNベースのビームフォーマーが抱える汎用性の制限を解消すること。
• マスクベース手法のロバスト性とフィルタ推定アプローチのフィルタ効率性を活用する統一フレームワークの構築。
• 特に移動ノイズ源を伴う非定常音響環境における性能向上。
• 共同学習の有効性を検証し、ビームフォーマーの汎用性とロバスト性の向上を実証すること。

提案手法

• W-Net BFアーキテクチャは2段階構成である：まず、DNNを用いてノイズマスク付きスペクトログラムを生成するリファレンス推定モジュール、次に、このリファレンスを用いて最適なフィルタを計算するビームフォーミングフィルタ推定モジュール。
• 両モジュールを同時に最適化するための共同エンドツーエンド学習を採用し、リファレンス推定とフィルタ学習の間の整合性を高めた。
• リファレンス推定モジュールは、ノイズおよび音声成分の時間周波数マスクを予測するため、U-Netに類似したエンコーダ・デコーダ構造を採用。
• フィルタ推定モジュールは、時間周波数ドメインにおける複素数値のビームフォーミングフィルタを予測するため、完全畳み込みネットワークを用いる。
• 損失関数はSNR最大化とマスク予測の目的を組み合わせ、両成分の共同最適化を可能にした。
• 多様な室内インパルス応答、音声源、静的／移動ノイズ源を含むシミュレーテッドデータで学習し、移動ノイズシナリオ向けにファインチューニングを実施した。

実験結果

リサーチクエスチョン

• RQ1 マスクベースとフィルタ推定ベースのDNNビームフォーマーの長所を統合する共同学習フレームワークは、ビームフォーマー性能の向上に寄与するか？
• RQ2 提案されたW-Net BFアーキテクチャは、非定常ノイズ環境において、独立したマスクベースまたはフィルタ推定モデルよりも汎用性が優れているか？
• RQ3 リファレンス推定とフィルタ学習の共同最適化は、移動ノイズ源に対するロバスト性にどのように影響するか？
• RQ4 SNR、SDR、STOI、PESQの観点から、W-Net BFは既存の最先端ビームフォーマーをどの程度上回るか？

主な発見

• 静的データセットではW-Net BFが平均SNR 14.2 dBを達成し、U-Net BF（13.5 dB）およびBLSTM-GEV（12.8 dB）を上回った。
• 移動データセットではW-Net BFがSNR 13.0 dBを達成し、BLSTM-GEV（11.5 dB）を顕著に上回り、移動ノイズ源の処理能力に優れたことを示した。
• 静的データセットではW-Net BFが平均SDR 10.1 dBを達成し、U-Net BF（9.3 dB）およびBLSTM-GEV（8.6 dB）を上回り、強調信号の歪み低減を示した。
• 共同学習部（W-Net BF 対 W-Net BF†）により、SNRで0.7 dB、SDRで0.8 dBの性能向上が確認され、エンドツーエンド最適化の有効性を裏付けた。
• 移動ノイズデータでファインチューニングされたW-Net BF-mは、移動データセットでSNR 12.5 dBを達成し、共同学習による動的ノイズ条件への適応能力を示した。
• 静的データセットではSTOIスコアが0.85、PESQが2.7を達成し、高い音声理解性と知覚的品質を示した。