[論文レビュー] Distributed speech separation in spatially unconstrained microphone arrays

Nicolas Furnon, Romain Serizel+2 more|arXiv (Cornell University)|Nov 2, 2020

Speech and Audio Processing参考文献 26被引用数 5

ひとこと要約

本稿では、空間的に制約のないマイクロホンアレイを用いた分散型音声分離アルゴリズムを提案する。時間周波数マスクをノード間で推定するために畳み込み再帰ニューラルネットワーク（CRNN）を用い、まず個々のソースを推定し、その後その推定値をネットワーク全体に伝搬させることで、特にノード数がソース数と等しいかそれ以上の場合、ほぼオラクル性能に近い性能を達成する。

ABSTRACT

Speech separation with several speakers is a challenging task because of the non-stationarity of the speech and the strong signal similarity between interferent sources. Current state-of-the-art solutions can separate well the different sources using sophisticated deep neural networks which are very tedious to train. When several microphones are available, spatial information can be exploited to design much simpler algorithms to discriminate speakers. We propose a distributed algorithm that can process spatial information in a spatially unconstrained microphone array. The algorithm relies on a convolutional recurrent neural network that can exploit the signal diversity from the distributed nodes. In a typical case of a meeting room, this algorithm can capture an estimate of each source in a first step and propagate it over the microphone array in order to increase the separation performance in a second step. We show that this approach performs even better when the number of sources and nodes increases. We also study the influence of a mismatch in the number of sources between the training and testing conditions.

研究の動機と目的

• 空間的に分散されたマイクロホンアレイを用いて、混响が強く複数の話者がいる環境における音声分離の課題に取り組む。
• 中央集権的な処理を避けて、ノード間で処理を分散させることで、ディープラーニングベースの分離の計算複雑度を低減する。
• 複数のマイクロホンからの空間的多様性を活用し、中央集権的な処理に依存せずに分離性能を向上させる。
• 訓練時とテスト時のソース数の不一致に対するアルゴリズムのロバストネスを調査する。
• 単一ノード処理と比較して、ソースマスクをノード間で分散推定することで分離性能が向上することを示す。

提案手法

• 2段階の分散処理フレームワークを採用：まず、各ノードが局所データ上でCRNNを用いて異なる話者の信号を推定する。
• 2段階目では、各ノードがネットワーク全体にわたって推定されたソース信号を交換し、音響シーン全体のグローバルな視点を獲得する。
• 通信オーバーヘッドを低減しつつ空間情報を保持するため、ノード間で信号を圧縮して交換する。
• 時間周波数マスク（IRM、MWFなど）を用いてCRNNのソース信号推定をガイドし、マスクをノード間で反復的に更新する。
• CRNNを固定されたソース数の混合信号で学習し、ソース数の不一致があるシナリオにおける一般化性能を評価する。
• 2段階目で、伝搬された推定値を用いてビームフォーミング技術（例：MVDR、MWF）を適用し、分離を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 空間的に制約のないマイクロホンアレイにおける分散処理は、単一ノード手法と比較して音声分離性能を向上させることができるか？
• RQ2 ソース数とノード数の増加に伴い、本手法の性能はどのように変化するか？
• RQ3 訓練時とテスト時のソース数の不一致が、アルゴリズムのロバストネスに与える影響は何か？
• RQ4 ノード間でソース推定値を伝搬させることで、局所的推定を上回る分離精度が得られるか？
• RQ5 ノード数がソース数を上回る場合、またはノード数がソース数を下回る場合でも、本手法は高い性能を維持できるか？

主な発見

• 複数ノードの分散型CRNNアプローチは、単一ノードおよび従来のビームフォーミング手法を上回る性能を示し、特にノード数がソース数と等しいかそれ以上の場合顕著である。
• 2つのソースに対してノード数をK=2からK=3に増加させると、性能が一貫して向上する。これは、より難しい条件（多数のソース）で学習することで一般化性能が向上することを示唆している。
• 過定義状態（K > N）では、本手法は依然としてロバストであるが、ノードが静音信号を推定する場合（例：前方に話者がいない場合）、ビームフォーミングが静音入力に対して適用されることで性能がわずかに低下する。
• 不足定義状態（K < N）では、訓練時とテスト時の条件の不一致のため、単一ノードベースラインを下回る性能となる。これは、変動するソース数で再学習する必要があることを示唆している。
• バランスの取れた状況（N=K）では、本手法はほぼオラクル性能に達しており、分散推定と空間情報の共有の有効性が裏付けられている。
• 過定義状態における静音信号の問題は、無効なノードの動的検出が必要であることを示唆しており、ビームフォーミング出力の劣化を防ぐべきである。