[論文レビュー] DBNET: DOA-driven beamforming network for end-to-end farfield sound source separation

Ali Aroudi, Sebastian Braun|arXiv (Cornell University)|Oct 22, 2020

Speech and Audio Processing参考文献 24被引用数 6

ひとこと要約

本稿では、真のDOAアノテーションを必要とせずにDOA推定とビームフォーミングを統合する、遠方音源分離のためのエンドツーエンドディープラーニングフレームワークDBNetを提案する。信号再構成損失のみで訓練することで、DBNetは音源の方向を推定し、雑音を抑制する能力を学習する。特に、畳み込み・再帰型ポストマスキングネットワークを組み合わせることで、高リバーブで騒がしい環境下でも最先端のSIRおよびPESQ向上を達成する。

ABSTRACT

Many deep learning techniques are available to perform source separation and reduce background noise. However, designing an end-to-end multi-channel source separation method using deep learning and conventional acoustic signal processing techniques still remains challenging. In this paper we propose a direction-of-arrival-driven beamforming network (DBnet) consisting of direction-of-arrival (DOA) estimation and beamforming layers for end-to-end source separation. We propose to train DBnet using loss functions that are solely based on the distances between the separated speech signals and the target speech signals, without a need for the ground-truth DOAs of speakers. To improve the source separation performance, we also propose end-to-end extensions of DBnet which incorporate post masking networks. We evaluate the proposed DBnet and its extensions on a very challenging dataset, targeting realistic far-field sound source separation in reverberant and noisy environments. The experimental results show that the proposed extended DBnet using a convolutional-recurrent post masking network outperforms state-of-the-art source separation methods.

研究の動機と目的

• エンドツーエンドのマルチチャネル音源分離システムを構築し、ディープラーニングを用いてDOA推定とビームフォーミングを統合すること。
• 真のDOAアノテーションを訓練段階で必要としないように、信号再構成損失のみに依存するアプローチを実現すること。
• ビームフォーミングとポストマスキング部のエンドツーエンド最適化により、高リバーブで騒がしい環境下での分離性能を向上させること。
• 10メートルまでの音源距離を想定した、大規模かつ現実的なシナリオを再現するデータセットを用いて、フレームワークの評価を行うこと。

提案手法

• DBNetは、STFT、DOA推定、ビームフォーミング、iSTFTの各レイヤーをスタックして、周波数領域でマルチチャネルマイク信号を処理する。
• ネットワークは、真のDOAラベルを必要としない信号ベースの損失関数（具体的には、複素スペクトル距離（cMSE））を用いて訓練される。
• ポストマスキングネットワーク（pMnet）をエンドツーエンド拡張として導入し、畳み込み・再帰型エンコーダデコーダアーキテクチャを用いてビームフォームド出力を精緻化する。
• pMnetは、マグニチュード、複素スペクトル、または両方の距離損失を用いて訓練され、残存雑音の抑制を強化する。
• 一般化性能を向上させるために、大規模かつ拡張された訓練データセットが合成される。
• システム全体がエンドツーエンドで最適化され、時間領域の出力信号から入力マイク信号へまで勾配が伝搬可能となる。

実験結果

リサーチクエスチョン

• RQ1 真のDOA監視なしに、DOA駆動型ビームフォーミングをエンドツーエンドで訓練可能か？
• RQ2 高リバーブで騒がしい環境下において、ポストマスキングネットワークの統合が音源分離性能に与える影響はいかほどか？
• RQ3 音声品質と分離精度のバランスを最良にする損失関数の設定は何か？
• RQ4 ネットワークアーキテクチャの選択（再帰型対畳み込み・再帰型）が、困難な音響条件下での性能に与える影響は？

主な発見

• 畳み込み・再帰型ポストマスキングネットワークを備えたDBnet（DBnet(CR)-Mnet(CR)）は、SIR向上で6.86 dBの最高値を記録し、最先端手法を著しく上回った。
• Mnet(CR)ベースラインからのSDR向上26.15 dBは、最良のDBnet拡張でも維持または上回られ、PESQ向上は0.21であった。
• 真のDOAラベルなしでの訓練が有効であった：DBnet(CR)は1.26 dBのSIR向上を達成し、信号再構成のみからDOA推定をエンドツーエンドで学習可能であることを示した。
• cMSE損失関数が最良の性能を示し、複素スペクトル距離（α=1）が、マグニチュードのみ（α=0）よりもすべての指標で優れていた。
• DOA推定およびポストマスキングの両方で畳み込み・再帰型構造が不可欠であった。再帰型のみのバージョンではSIRおよびPESQ性能が劣化した。
• DBnet(CR)-Mnet(CR)構成は、SDR向上24.11 dBおよびSIR向上6.86 dBを達成し、実世界の状況下での強力な雑音およびリバーブ抑制を示した。