[論文レビュー] Symphony: Localizing Multiple Acoustic Sources with a Single Microphone Array

Weiguo Wang, Jinming Li+2 more|arXiv (Cornell University)|Sep 30, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

Symphonyは、1つのマイクロホンアレイを用いて複数の音響源を局所化する最初の手法を提案する。幾何学的フィルタリングを活用して経路ごとに信号を分離し、整合性に基づくクラスタリングによって同じ源からの信号をグループ化する。中央値の局所化誤差は0.694mに達し、最先端技術比で68%低減され、分散アレイを必要とせず、消費者向けデバイスでも正確でリアルタイムな源局所化を実現する。

ABSTRACT

Sound recognition is an important and popular function of smart devices. The location of sound is basic information associated with the acoustic source. Apart from sound recognition, whether the acoustic sources can be localized largely affects the capability and quality of the smart device's interactive functions. In this work, we study the problem of concurrently localizing multiple acoustic sources with a smart device (e.g., a smart speaker like Amazon Alexa). The existing approaches either can only localize a single source, or require deploying a distributed network of microphone arrays to function. Our proposal called Symphony is the first approach to tackle the above problem with a single microphone array. The insight behind Symphony is that the geometric layout of microphones on the array determines the unique relationship among signals from the same source along the same arriving path, while the source's location determines the DoAs (direction-of-arrival) of signals along different arriving paths. Symphony therefore includes a geometry-based filtering module to distinguish signals from different sources along different paths and a coherence-based module to identify signals from the same source. We implement Symphony with different types of commercial off-the-shelf microphone arrays and evaluate its performance under different settings. The results show that Symphony has a median localization error of 0.694m, which is 68% less than that of the state-of-the-art approach.

研究の動機と目的

• 1つのコンactなマイクロホンアレイを用いて、既存のシステムの制限を克服して複数の音響源を正確に局所化すること。
• 複数の源が同時に発生する密集した音響環境における源分離と局所化の課題に対処すること。
• 分散マイクロホンアレイの必要性を排除し、スマートスピーカーなどの消費者向けスマートデバイスで実用可能なソリューションを提供すること。
• さまざまなマイクロホンアレイ構成および現実世界の条件に対し、頑健な性能を発揮する手法を開発すること。
• 最小限のハードウェア要件で高精度な局所化を実現し、商業用市販品デバイスに適したソリューションを達成すること。

提案手法

• Symphonyは、マイクロホンの固定された空間配置を活用して、異なる経路を介して到達する信号を区別する幾何学的フィルタリングモジュールを採用する。
• マイクロホン間での固有の時間遅れと振幅関係を用いて信号伝搬をモデル化し、幾何学的シグネイチャに基づいて源を分離する。
• 整合性に基づくモジュールは、アレイ要素間での信号類似度を測定することで、同じ源に起因する信号を特定・クラスタリングする。
• フィルタリングされた信号と整合性スコアを統合して、各源の到達方向（DoA）を同時に推定する。
• まず経路固有の成分を分離し、次に源の整合性に基づいてグループ化するパイプラインを用いて、リアルタイムで信号を処理する。
• さまざまな商業用マイクロホンアレイに実装されており、異なるフォームファクタに対してもハードウェアに依存しない性能を示している。

実験結果

リサーチクエスチョン

• RQ1 分散ネットワークを必要とせず、1つのマイクロホンアレイのみで複数の音響源を正確に局所化できるか？
• RQ2 1つのアレイ内で重複する経路を介して到達する複数の源からの信号を、どのように分離できるか？
• RQ3 マイクロホンの幾何学的配置が、源固有の信号成分を識別する上で果たす役割は何か？
• RQ4 整合性に基づくグループ化が、複数源環境における源局所化精度をどのように向上させるか？
• RQ5 提案手法は、実世界のハードウェア上で最先端の手法と比較して優れた局所化性能を達成できるか？

主な発見

• Symphonyは、さまざまなテスト条件下で中央値の局所化誤差が0.694メートルに達し、最先端技術を著しく上回っている。
• 前回のSOTA比で中央値誤差が68%低減されたことで、局所化精度の顕著な向上が示された。
• さまざまな商業用市販品マイクロホンアレイにおいて一貫した性能を維持しており、ハードウェアのばらつきに対しても頑健であることが示された。
• 幾何学的フィルタリングは、同じ方向から到達する信号であっても、異なる源からの信号を効果的に分離できた。
• 整合性に基づくクラスタリングは、同じ源からの信号を効果的にグループ化し、各源の正確なDoA推定を可能にした。
• システムはリアルタイムで動作し、Amazon Alexaなどの標準スマートデバイスに統合可能であり、実用的統合が可能である。