[논문 리뷰] TRAMP: Tracking by a Real-time AMbisonic-based Particle filter

Srđan Kitić, Alexandre Guérin|arXiv (Cornell University)|2018. 10. 09.

Speech and Audio Processing참고 문헌 18인용 수 15

한 줄 요약

TRAMP는 Eigenmike 어레이를 사용하여 실시간으로, FOA 기반의 입자 필터링 시스템을 제안한다. 이는 다중 음원의 정위치 및 추적을 위한 것으로, 1차원 앰비소닉(FOA)에서 유도된 가짜강도(pseudointensity)를 활용하고, 동적 소스 할당을 위한 입자 필터링을 적응적으로 적용함으로써 경쟁적인 성능을 달성한다. 특히 단일 소스 추적에서 뛰어난 성능을 보이며, LOCATA 개발 데이터셋에서 평균 아즈임 각 오차는 6.19°(Task 1) 및 15.05°(Task 3)를 기록한다.

ABSTRACT

This article presents a multiple sound source localization and tracking system, fed by the Eigenmike array. The First Order Ambisonics (FOA) format is used to build a pseudointensity-based spherical histogram, from which the source position estimates are deduced. These instantaneous estimates are processed by a wellknown tracking system relying on a set of particle filters. While the novelty within localization and tracking is incremental, the fully-functional, complete and real-time running system based on these algorithms is proposed for the first time. As such, it could serve as an additional baseline method of the LOCATA challenge.

연구 동기 및 목표

• 소음이 많고 동적인 환경에서 실시간으로 다중 음원 정위치 및 추적 문제를 해결함. 특히 스마트 스피커 응용 분야에 특히 관련성이 높음.
• 기본 마이크로폰 어레이 출력만을 사용하여도 효율적인 정위치 및 추적을 가능하게 하는, 배열에 종속되지 않은 강건한 First Order Ambisonics(FOA) 기반 시스템 개발.
• IEEE-AASP LOCATA 챌린지에 대한 완전 기능을 갖춘 실시간 기준 방법 제공. 기존의 MUSIC/칼만 필터 기반 접근법을 보완함.
• 추적 소스 수와 관측 수를 제한함으로써 실시간 성능와 계산의 타당성을 확보하면서도, 추적의 연속성과 임의의 경고(false alarms) 감소를 유지함.

제안 방법

• Eigenmike 어레이에서의 원시 다채널 마이크로폰 신호를 사전에 계산된 구면 조화 및 균형 매트릭스를 사용하여 First Order Ambisonics(FOA) 형식으로 변환.
• 단기 푸리에 변환(STFT)을 통해 FOA 성분에서 가짜강도 벡터를 계산하여 즉각적인 음원 방향을 추정함. 근사식은 $\hat{\mathbf{I}}(\omega) \propto \Re(W^*(\omega) \cdot [X(\omega), Y(\omega), Z(\omega)]^T)$ 를 사용.
• 각 시간 프레임에서 후보 소스 방향을 식별하기 위해 구면 가짜강도 히스토그램을 구성함. 이는 추적 모듈의 관측값으로 사용됨.
• Valin 등에 기반한 수정된 입자 필터링 프레임워크를 적용하여 관측값을 지속적인 소스 트랙과 연관지음. 운동 모델과 공간적 근접도 및 강도 기반의 가능도를 활용함.
• 불필요한 소스의 존재 확률을 매 프레임당 5% 감소시키는 히우리스틱을 도입하여 임의의 경고를 줄임. 이는 일시적인 소음에 대한 강건성을 향상시킴.
• 실시간 성능 확보를 위해 추적 소스 수($S_{\text{max}} = 4$)와 관측 수($Q_{\text{max}} = 4$)를 제한함. 단일 스레드 파이썬 구현 환경에서도 성능 확보.

실험 결과

연구 질문

• RQ1 실시간으로, FOA 기반의 입자 필터링 시스템이 오직 Eigenmike 어레이만을 사용하여 신뢰할 수 있는 다중 음원 정위치 및 추적을 달성할 수 있는가?
• RQ2 가짜강도 기반 정위치 성능가 기존의 MUSIC과 비교하여, 다이나믹하고 다중 음원이 존재하는 음향 환경에서 어떻게 성능를 보이는가?
• RQ3 소스 교차 및 비정적 신호 존재 시, 입자 필터링 프레임워크가 트랙의 연속성을 유지하고 임의의 경고를 얼마나 효과적으로 줄이는가?
• RQ4 사전에 소스 수나 운동 모델을 알지 못하는 상황에서, 단일 소스 대비 다중 소스, 정적 소스 대비 이동 소스 등 다양한 시나리오에서 시스템 성능는 어떻게 되는가?
• RQ5 시간 평균 아즈임 오차와 헝가리안 할당을 사용한 평가 지표가, 특히 다중 이동 소스와 같은 복잡한 작업에서 성능 해석에 어떤 영향을 미치는가?

주요 결과

• TRAMP 시스템은 Task 1(단일 정지 소스)에서 평균 아즈임 오차 6.19°, 표준편차 1.18°를 기록하며, LOCATA 챌린지에서 보고된 베이스라인을 초월함.
• Task 2(다중 정지 소스)에서는 평균 아즈임 오차 6.88°이며, 표준편차가 5.23°로 높아, 녹음 간 성능의 변동성이 뚜렷함.
• Task 3(단일 이동 대화자)에서는 평균 아즈임 오차가 15.05°로 상승함. 이는 현재 설정에서 동적 소스 추적의 어려움을 반영함.
• Task 4(다중 이동 대화자)에서는 평균 아즈임 오차가 11.97°로 나타나, 복잡도가 더 높은 Task 3보다 낮음. 이는 평가 지표의 특성상 짧은 트랙에 대한 편향이 발생할 수 있음을 시사함.
• 결과적으로 TRAMP는 MUSIC/칼만 베이스라인과 비교해도 유리한 성능를 보이며, 특히 단일 소스 시나리오에서 두각을 나타냄. 그러나 복잡한 경우 평가 지표가 성능를 과소 평가할 수 있음.
• 계산적으로 효율적이며 단일 스레드 파이썬 환경에서도 실시간 동작 가능. 병렬 처리 가능성도 있음. 확률적 트랙 관리로 소스 교차 및 일시적 소음에 강건함.