[論文レビュー] DNN-based mask estimation for distributed speech enhancement in spatially unconstrained microphone arrays

Nicolas Furnon, Romain Serizel+2 more|arXiv (Cornell University)|Nov 3, 2020

Speech and Audio Processing参考文献 54被引用数 27

ひとこと要約

本論文は、空間的に制約のないマイクロホンアレイにおける分散型DNNベースの音声強調手法を提案する。この手法は、ターゲットとノイズの推定値を含む圧縮信号を用いてノード間の協調を可能にする。オラクルVADを用いる場合、DANSEと同等の性能を達成し、入力SIRが低いノードが空間的協調によって最も恩恵を受けることが示され、より高い耐障害性と性能向上を実現するためのターゲットとノイズの推定値の共有の有効性が検証された。

ABSTRACT

Deep neural network (DNN)-based speech enhancement algorithms in microphone arrays have now proven to be efficient solutions to speech understanding and speech recognition in noisy environments. However, in the context of ad-hoc microphone arrays, many challenges remain and raise the need for distributed processing. In this paper, we propose to extend a previously introduced distributed DNN-based time-frequency mask estimation scheme that can efficiently use spatial information in form of so-called compressed signals which are pre-filtered target estimations. We study the performance of this algorithm under realistic acoustic conditions and investigate practical aspects of its optimal application. We show that the nodes in the microphone array cooperate by taking profit of their spatial coverage in the room. We also propose to use the compressed signals not only to convey the target estimation but also the noise estimation in order to exploit the acoustic diversity recorded throughout the microphone array.

研究の動機と目的

• アドホックで空間的に制約のないマイクロホンアレイにおける集中型音声強調の限界を解消し、分散処理を可能にする。
• 実世界の無線音響センサネットワーク（WASNs）における、MVDR や MWF といった従来のマルチチャネルビームフォーマーの帯域幅制限および融合センター依存性を克服する。
• 各ノードが、ターゲットとノイズの推定値を含む圧縮信号を協調的に共有することで、音声強調性能を向上させる。
• DNNベースのマスク推定および全体的なシステム性能に、ターゲット推定値とノイズ推定値の送信が与える影響を調査する。
• 現実の音響環境およびトレーニングとテストの分布不一致の下でも、本手法の耐障害性を検証する。

提案手法

• 各ノードが圧縮信号（事前フィルタ処理を施したターゲット推定値）を計算し、他のノードと共有する分散型DNNベースの時間周波数マスク推定フレームワークを提案する。
• 圧縮信号をターゲット推定のためのものに加え、ノイズ推定値を伝えるためにも使用し、アレイ全体における音響的多様性を活用する。
• 各ノードでマルチチャネルDNNを適用し、他のノードからの圧縮信号を用いて理想比マスク（IRM）を推定することで、空間的協調を実現する。
• 2段階のフィルタリング処理を統合する：第1段階では、各ノードが局所信号を用いて処理を行う。第2段階では、共有された圧縮信号を用いた協調処理を行う。
• ビームフォーマー設計には一般化固有値分解（GEVD）を適用し、時間周波数表現をモデル化するためにSTFTドメイン処理を用いる。
• DNNの学習には、ターゲットとノイズの推定値を入力特徴として組み合わせ、マスク予測の平均二乗誤差（MSE）を最小化するように損失関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 空間的に制約のないマイクロホンアレイにおいて、本手法の分散型DNNベースのマスク推定性能は、オラクルVADを用いた集中型DANSEと比較してどうなるか？
• RQ2 圧縮信号にターゲット推定値に加えノイズ推定値を送信することの相対的利点は、ターゲット推定値のみを送信する場合と比較してどの程度か？
• RQ3 どのノードが空間的協調から最も恩恵を受けるか？また、入力信号品質（例：SIR）が性能向上に与える影響は？
• RQ4 現実の音響環境におけるトレーニングとテストの条件不一致に対して、DNNベースの手法はどの程度耐障害性を示すか？
• RQ5 融合センターが不要で時 clocks の同期も不要な本手法は、最新の集中型ソリューションと同等の性能を達成できるか？

主な発見

• 本手法は、オラクルVADを用いた集中型DANSEと同等の音声強調性能を達成し、分散環境下でも有効であることが示された。
• 入力SIRが最も低いノード（最低1 dB）が空間的協調によって最も恩恵を受けており、情報共有後の出力SIRが顕著に向上した。
• 圧縮信号にターゲットとノイズの推定値を両方送信しても性能に悪影響を及ぼさず、若干の利点がある可能性があるが、ターゲット推定値のみ送信する場合と比較して有意な差は認められなかった。
• 2番目のフィルタリングステップ（S2）で最も良い出力ノードではSIR_cn_vが23.9 dBに達し、最も良い入力ノード（S1 bi: 20.5 dB）と比較して顕著に向上しており、強い協調的利得が確認された。
• 最も良い出力ノードにおけるSAR_cn_vは8.3 dBに達し、ノード間での協調的推定により、信号対アーチファクト比が向上した。
• 1番目と2番目のフィルタリングステップの性能差が最も顕著に現れたのは、最も良い出力ノードであり、マルチノードDNNが最高品質の圧縮信号を最高品質の入力ノードから得ることで最大の利得を得られることを確認した。