[논문 리뷰] Localization and Tracking of an Acoustic Source using a Diagonal Unloading Beamforming and a Kalman Filter

Daniele Salvati, Carlo Drioli외 1명|arXiv (Cornell University)|2018. 12. 04.

Speech and Audio Processing참고 문헌 6인용 수 4

한 줄 요약

이 논문은 방향도 도래(DOA) 추정을 위한 대각선 언로딩(DU) beamforming과 시간적 스무딩을 위한 칼만 필터(KF)를 사용하여 저복잡도이면서 고해상도의 음향 소스 정위치 및 추적 시스템을 제안한다. 이 프레임워크는 LOCATA 챌린지 데이터셋의 정적 및 동적 시나리오에서 선형, 가짜 구형, 구형 구성을 포함한 다양한 마이크 배열에서 초도수 루트 평균 제곱 오차(RMSE) 성능을 달성한다.

ABSTRACT

We present the signal processing framework and some results for the IEEE AASP challenge on acoustic source localization and tracking (LOCATA). The system is designed for the direction of arrival (DOA) estimation in single-source scenarios. The proposed framework consists of four main building blocks: pre-processing, voice activity detection (VAD), localization, tracking. The signal pre-processing pipeline includes the short-time Fourier transform (STFT) of the multichannel input captured by the array and the cross power spectral density (CPSD) matrices estimation. The VAD is calculated with a trace-based threshold of the CPSD matrices. The localization is then computed using our recently proposed diagonal unloading (DU) beamforming, which has low-complexity and high resolution. The DOA estimation is finally smoothed with a Kalman filer (KF). Experimental results on the LOCATA development dataset are reported in terms of the root mean square error (RMSE) for a 7-microphone linear array, the 12-microphone pseudo-spherical array integrated in a prototype head for a humanoid robot, and the 32-microphone spherical array.

연구 동기 및 목표

• 단일 소스 음향 시나리오에서 마이크 어레이를 사용한 정확하고 강건한 방향도 도래(DOA) 추정 문제를 해결한다.
• 자원 제약 환경에서 실시간 구현에 적합한 저복잡도, 고해상도 beamforming 방법을 개발한다.
• 칼만 필터를 통합하여 시간에 따라 DOA 추정치를 스무딩함으로써, 소음이 많거나 동적인 조건에서의 추적 안정성을 향상시킨다.
• LOCATA 개발 데이터셋에서 다양한 마이크 어레이 구성—선형, 가짜 구형, 구형—에 대해 시스템을 평가한다.
• 인간-로봇 상호작용, 화상 회의, 음향 감시와 같은 애플리케이션에 실용적으로 구현 가능한 신호 처리 파이프라인을 최적화한다.

제안 방법

• 2048점 FFT와 512점 힙 사이즈, 햄 창을 사용하여 다중채널 음성 신호에 대해 단기 푸리에 변환(STFT)을 적용한다.
• 스펙트럼의 일관성과 노이즈에 대한 강건성을 향상시키기 위해 25프레임 평균을 통해 교차 스펙트럼 밀도 행렬(CPSD)을 추정한다.
• 각 어레이 유형에 맞게 경험적으로 조정된 임계치를 사용하여 추적 기반 음성 활성도 검출(VAD)을 구현한다.
• CPSD 행렬에서 추적 스케일링된 항등행렬을 빼는 방식으로 해상도를 향상시키는 대각선 언로딩(DU) beamforming을 사용하여 DOA 추정을 수행한다.
• 80–8000 Hz 대역에서 좁대역 DU 응답의 비일관성 주파수 융합을 통해 광대역 스티어드 리스ポン스 파워(SRP)를 계산한다.
• 과정 노이즈 및 측정 노이즈 파rameter를 사용하여 상태 예측 및 보정 단계를 거치는 확장 칼만 필터(EKF)를 적용하여 DOA를 시간에 따라 추적한다.

실험 결과

연구 질문

• RQ1 대각선 언로딩 beamforming은 기존 beamformer에 비해 DOA 추정 해상도와 계산 복잡도 측면에서 어떻게 비교되는가?
• RQ2 칼만 필터링은 역동적인 화자 시나리오에서 DOA 추정의 시간적 안정성과 정확도를 어느 정도 향상시키는가?
• RQ3 다양한 음향 조건에서 선형, 가짜 구형, 구형 어레이 유형에 대해 시스템 성능은 어떻게 되는가?
• RQ4 VAD 임계치 선택이 정위치 정확도와 배경 노이즈에 대한 강건성에 미치는 영향은 무엇인가?
• RQ5 제안된 프레임워크는 움직이는 소스와 어레이를 포함한 실제 환경, 비에코닉 조건에서도 고정밀 DOA 추정을 달성할 수 있는가?

주요 결과

• 정적 화자 및 정적 어레이 조건에서 7마이크 선형 어레이의 애지무트 RMSE는 0.972°를 기록했다 (작업 1, 녹음 3).
• 움직이는 화자 및 정적 어레이 시나리오 (작업 3)에서 로봇 헤드 어레이의 애지무트 RMSE는 2.880°, 엘레베이션 RMSE는 2.807°를 기록했다 (녹음 3).
• 가장 도전적인 작업 (작업 5, 움직이는 화자 및 움직이는 어레이)에서 이그네마이크 구형 어레이의 애지무트 RMSE는 4.433°, 엘레베이션 RMSE는 3.100°를 기록했다 (녹음 1).
• 어레이 운동과 화자 역동성에 대해 강건성을 보였으며, 정적 또는 저속 운동 조건에서 가장 낮은 RMSE 값을 기록했다.
• 각 어레이 유형에 맞게 경험적으로 최적화된 VAD 임계치 (선형: 200, 로봇 헤드: 50, 이그네마이크: 10)는 검출 신뢰도를 크게 향상시켰다.
• 칼만 필터는 특히 고속도 및 노이즈가 많은 조건에서 DOA 추정의 진동을 효과적으로 줄였으며, 그림 3과 4의 더 부드러운 궤적을 통해 이를 입증했다.