[논문 리뷰] Symphony: Localizing Multiple Acoustic Sources with a Single Microphone Array

Weiguo Wang, Jinming Li외 2명|arXiv (Cornell University)|2022. 09. 30.

Speech and Audio Processing인용 수 4

한 줄 요약

Symphony는 단일 마이크 배열을 사용하여 다중 음향 소스를 국지화하는 데 있어 최초의 방법을 제안하며, 경로 기반 필터링과 일관성 기반 클러스터링을 활용하여 신호를 분리한다. 이는 상태의 기술(SoTA) 대비 68% 낮은 중앙값 오차 0.694m를 기록하여 소비자 기기에서 분산 배열 없이도 정확하고 실시간으로 소스 국지화를 가능하게 한다.

ABSTRACT

Sound recognition is an important and popular function of smart devices. The location of sound is basic information associated with the acoustic source. Apart from sound recognition, whether the acoustic sources can be localized largely affects the capability and quality of the smart device's interactive functions. In this work, we study the problem of concurrently localizing multiple acoustic sources with a smart device (e.g., a smart speaker like Amazon Alexa). The existing approaches either can only localize a single source, or require deploying a distributed network of microphone arrays to function. Our proposal called Symphony is the first approach to tackle the above problem with a single microphone array. The insight behind Symphony is that the geometric layout of microphones on the array determines the unique relationship among signals from the same source along the same arriving path, while the source's location determines the DoAs (direction-of-arrival) of signals along different arriving paths. Symphony therefore includes a geometry-based filtering module to distinguish signals from different sources along different paths and a coherence-based module to identify signals from the same source. We implement Symphony with different types of commercial off-the-shelf microphone arrays and evaluate its performance under different settings. The results show that Symphony has a median localization error of 0.694m, which is 68% less than that of the state-of-the-art approach.

연구 동기 및 목표

• 기존 시스템의 한계를 극복하고 단일 소형 마이크 배열을 사용하여 다중 음향 소스의 정확한 국지화를 가능하게 하기.
• 동시에 여러 소스가 방출하는 조밀한 음향 환경에서의 소스 분리 및 국지화 과제를 해결하기.
• 소비자 스마트 기기(예: 스마트 loudspeaker)에 적합한 분산 마이크 배열이 필요 없도록 하기.
• 다양한 마이크 배열 구성과 실제 환경 조건에서도 견고한 성능을 보이는 방법 개발하기.
• 상용 오프더쇼프 장치에 적합한 최소한의 하드웨어 요구 조건으로 고정밀 국지화를 달성하기.

제안 방법

• Symphony는 마이크의 고정된 공간적 구성 특성을 활용하여 서로 다른 경로를 따라 도착하는 신호를 구분하는 기하학 기반 필터링 모듈을 적용한다.
• 마이크 간 시간 지연과 진폭 관계의 고유한 특성을 이용하여 신호 전파를 모델링하고 기하학적 서명에 기반해 소스를 분리한다.
• 일관성 기반 모듈은 마이크 요소 간의 신호 유사도를 측정하여 동일한 소스에서 유래한 신호를 식별하고 클러스터링한다.
• 필터링된 신호와 일관성 점수를 통합하여 각 소스의 도래 방향(DoA)을 동시 추정한다.
• 먼저 경로별 구성 요소를 분리하고, 이후 소스 일관성 기반으로 그룹화하는 파이프라인을 통해 실시간으로 신호를 처리한다.
• 다양한 상용 마이크 배열에서 구현되어 다양한 형상 요소에 관계없이 하드웨어에 종속되지 않는 성능을 입증한다.

실험 결과

연구 질문

• RQ1 분산 네트워크가 필요 없이 단일 마이크 배열만으로도 다중 음향 소스를 정확히 국지화할 수 있는가?
• RQ2 동일한 마이크 배열에서 여러 소스의 신호가 겹치는 경로로 도착할 경우, 어떻게 이를 분리할 수 있는가?
• RQ3 마이크의 기하학적 배치가 소스 특화 신호 성분을 구분하는 데 어떤 역할을 하는가?
• RQ4 일관성 기반 클러스터링은 다중 소스 환경에서 소스 국지화 정확도를 어떻게 향상시키는가?
• RQ5 제안된 방법은 실제 하드웨어에서 기존 SoTA 대비 뛰어난 국지화 성능을 달성할 수 있는가?

주요 결과

• Symphony는 다양한 테스트 조건에서 중앙값 국지화 오차 0.694m를 기록하며, 기존 SoTA 방법을 크게 앞서간다.
• 기존 SoTA 대비 68%의 중앙값 오차 감소는 국지화 정확도 향상에 있어 상당한 개선을 보여준다.
• 다양한 상용 오프더쇼프 마이크 배열 유형에서 일관된 성능을 유지하여 하드웨어 변동에 대한 견고성을 입증한다.
• 기하학 기반 필터링은 유사한 방향에서 도착하는 신호들 사이에서도 효과적으로 소스 간 분리를 수행한다.
• 일관성 기반 클러스터링은 동일한 소스에서 유래한 신호를 성공적으로 그룹화하여 각 소스에 대한 정확한 DoA 추정을 가능하게 한다.
• 시스템은 실시간으로 작동하며 Amazon Alexa와 같은 표준 스마트 기기에서 구동 가능하여 실용적인 통합이 가능하다.