[논문 리뷰] Deep Learning Based Stage-wise Two-dimensional Speaker Localization with Large Ad-hoc Microphone Arrays

Shupei Liu, Feng, Linfeng외 5명|arXiv (Cornell University)|2022. 10. 19.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 대규모 애드혹 마이크로폰 어레이를 사용하는 딥러닝 기반 2차원(2D) 음원 위치 추정 방법을 제안한다. 여기서 합성곱 신경망(CNN)이 각 노드에서 도래 방향(DOA)을 추정하고, 이어서 삼각측량과 군집화를 통해 2D 음원 위치를 추정한다. 이 방법은 기존 방법보다 유의미하게 낮은 평균 절대 오차(MAE)를 달성하며, 소프트맥스 기반 노드 선택 기법을 통해 시뮬레이션 및 실세계 데이터에서 정확도를 더욱 향상시킨다.

ABSTRACT

While deep-learning-based speaker localization has shown advantages in challenging acoustic environments, it often yields only direction-of-arrival (DOA) cues rather than precise two-dimensional (2D) coordinates. To address this, we propose a novel deep-learning-based 2D speaker localization method leveraging ad-hoc microphone arrays, where an ad-hoc microphone array is composed of randomly distributed microphone nodes, each of which is equipped with a traditional array. Specifically, we first employ convolutional neural networks at each node to estimate speaker directions. Then, we integrate these DOA estimates using triangulation and clustering techniques to get 2D speaker locations. To further boost the estimation accuracy, we introduce a node selection algorithm that strategically filters the most reliable nodes. Extensive experiments on both simulated and real-world data demonstrate that our approach significantly outperforms conventional methods. The proposed node selection further refines performance. The real-world dataset in the experiment, named Libri-adhoc-node10 which is a newly recorded data described for the first time in this paper, is online available at https://github.com/Liu-sp/Libri-adhoc-nodes10.

연구 동기 및 목표

• 기존 음원 위치 추정 방법이 도래 방향(DOA)만 추정하는 데에 한계가 있다는 점을 해결하고, 전체 2D 좌표를 추정한다.
• 큰 규모의 무작위로 설치된 애드혹 마이크로폰 어레이를 사용하여 반향성과 소음이 있는 환경에서도 정확한 2D 음원 위치 추정을 가능하게 한다.
• 고정된 노드 위치나 공간 패턴을 요구하는 이전 딥러닝 방법의 제약을 극복하여 실세계 구현에 대한 유연성을 확보한다.
• 새로운 소프트맥스 기반 노드 선택 알고리즘을 통해 정확도를 향상시키고 계산 복잡도를 감소시킨다.
• 시뮬레이션 데이터로 학습된 모델이 알려지지 않은 음향 조건과 노드 구성 조건을 가진 실세계 환경으로 일반화되는지를 입증한다.

제안 방법

• 각 애드혹 마이크로폰 노드에 합성곱 신경망(CNN)을 적용하여 다중채널 오디오 신호에서 음원의 도래 방향(DOA)을 추정한다.
• 선택된 노드 간의 삼각측량을 통해 도래 방향 선의 교차점을 기반으로 다수의 원시적인 음원 위치 추정치를 생성한다.
• 원시 위치 추정치 집합에 군집화를 적용하여 최종 정확한 음원 위치를 식별하고 보정한다.
• 정확도가 높은 DOA 추정치를 우선순위로 정렬하기 위해 소프트맥스 기반 노드 선택 알고리즘을 구현하여 계산 부담을 줄이고 정밀도를 향상시킨다.
• 정확도 향상과 일반화 능력 향상을 위해 혼합 소스 및 이중 소스 학습 데이터를 모두 사용하여 CNN 기반 DOA 추정기 모델을 훈련시킨다.
• DOA 추정 성능 향상을 위해 위상 스펙트로그램과 일반화된 교차상관을 CNN 입력에 통합한다.

실험 결과

연구 질문

• RQ1 개별 애드혹 노드에서의 딥러닝 기반 DOA 추정을 삼각측량과 군집화와 효과적으로 융합하여 정확한 2D 음원 위치 추정을 달성할 수 있는가?
• RQ2 시뮬레이션 및 실세계 반향성 환경에서 제안된 방법의 성능은 기존 DOA 추정 방법(MUSIC, SRP-PHAT 등)과 비교해 어떻게 되는가?
• RQ3 특히 학습된 소프트맥스 기반 선택 기법을 통한 노드 선택이 정밀도 향상과 계산 비용 감소에 얼마나 기여하는가?
• RQ4 시뮬레이션 데이터로 학습된 모델이 알려지지 않은 음향 조건과 노드 구성 조건을 가진 실세계 시험 환경으로 일반화되는가?
• RQ5 선택된 노드 수와 학습 전략(혼합 소스 대비 이중 소스)이 최종 위치 추정 정확도에 미치는 영향은 어떠한가?

주요 결과

• 혼합 소스 데이터로 훈련된 이중 소스 데이터 기반 학습 시, 30 dB SNR 조건에서 단일 음원 위치 추정 시 평균 절대 오차(MAE)가 0.0821 m로 기존 기준 방법보다 유의미하게 떨어지며 성능을 뛰어나게 한다.
• Libri-adhoc-nodes10 데이터셋을 사용한 실세계 테스트에서, 제안된 방법은 한 명의 음원에 대해 MAE 0.3931 m를 기록했으며, MUSIC(1.5999 m) 및 SRP-PHAT(1.5239 m)를 모두 능가했다.
• 소프트맥스 기반 노드 선택 전략은 모든 노드를 사용하는 것보다 MAE를 감소시켰다. 30 dB SNR 조건에서 이중 소스 시나리오에서 18개의 최상위 노드를 선택한 경우 MAE는 0.4702 m였고, 모든 노드를 사용한 경우는 0.4654 m였으며, 이는 약간의 개선이지만 일관된 성능 향상을 보였다.
• 시뮬레이션 데이터로 학습된 모델는 실세계 환경으로의 일반화가 잘 이루어졌으며, 시뮬레이션에서 실세계 테스트 데이터로의 전환 시 MAE가 다소 증가했지만(예: 0.0821 m → 0.3931 m) 그 정도는 제한적이었다.
• 삼중 소스 시나리오에서의 성능 저하는 주로 가짜 음원 추정치의 기하급수적 증가 때문이었으며, 이는 다중 소스 추정의 핵심 과제임을 시사한다.
• K-best 노드 선택 방법은 여섯 개 테스트 시나리오 중 여섯 곳 중 세 곳에서 모든 노드를 사용하는 방법보다 성능이 뛰어나, 노이즈 감소와 정확도 향상에 있어 선택적 추정의 효과를 입증한다.