[논문 리뷰] FCN Approach for Dynamically Locating Multiple Speakers

Hodaya Hammer, Shlomo E. Chazan외 2명|arXiv (Cornell University)|2020. 08. 26.

Speech and Audio Processing참고 문헌 27인용 수 4

한 줄 요약

이 논문은 시간-주파수(TF) 빈 별 방향도도착(DoA) 추정을 이용한 완전 컨volution 네트워크(FCN) 기반 접근법을 제안한다. 이는 고해상도, 실시간 다중 화자 위치 추적을 가능하게 하며, 순순간 공간 특징과 W-비독립 수직성 원리를 활용하여 정적 및 동적 상황 모두에서 뛰어난 정확도와 부드러운 추적 성능을 달성한다. 시뮬레이션 및 실제 반향 환경에서 최신 기술을 능가하며, RT60가 최대 720 ms까지 적용 가능한 환경에서 성능을 발휘한다.

ABSTRACT

In this paper, we present a deep neural network-based online multi-speaker localisation algorithm. Following the W-disjoint orthogonality principle in the spectral domain, each time-frequency (TF) bin is dominated by a single speaker, and hence by a single direction of arrival (DOA). A fully convolutional network is trained with instantaneous spatial features to estimate the DOA for each TF bin. The high resolution classification enables the network to accurately and simultaneously localize and track multiple speakers, both static and dynamic. Elaborated experimental study using both simulated and real-life recordings in static and dynamic scenarios, confirms that the proposed algorithm outperforms both classic and recent deep-learning-based algorithms.

연구 동기 및 목표

• 높은 반향성 음향 환경에서 다중 이동 화자를 정확하고 실시간으로 국소화하는 문제를 해결하기 위해.
• 시간 간격 기반 DoA 추정 방법의 한계를 극복하기 위해, 이는 시간 해상도가 낮고 추적 기능이 부족하다.
• 각 시간-주파수 빈이 한 명의 화자에 의해 지배되는 W-비독립 수직성 성질을 활용하여 고해상도 DoA 추정을 가능하게 하기 위해.
• 다양한 반향성 및 노이즈 조건에 강건한 데이터 기반 딥 러닝 모델을 개발하여, 훈련 환경을 초월한 일반화 능력을 확보하기 위해.
• 시뮬레이션 및 실제 기록을 활용한 다중 화자 DoA 추정을 위한 공개 가능한 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 완전 컨volution 네트워크(FCN)가 마이크 신호에서 유도된 순순간 공간 특징을 사용하여 각 시간-주파수(TF) 빈에 대한 DoA를 예측하도록 훈련된다.
• 공간 특징은 주파수 도메인에서 상대 전달 함수(RTF)의 실수부 및 허수부로 계산된다.
• 모델은 TF 해상도의 지도 학습을 통해 훈련되며, W-비독립 수직성 원리에 따라 각 TF 빈에 하나의 DoA 레이블을 할당한다.
• 네트워크 아키텍처는 고시간 해상도를 갖춘 엔드 투 엔드 온라인 추론을 가능하게 하며, 다중 화자 동시 국소화 및 추적을 지원한다.
• 훈련 데이터는 공개 데이터셋에서 확보한 실제 실내 인력 응답(RIR)을 사용하여 시뮬레이션되며, 다양한 음향 조건과 화자 동적 특성을 반영한다.
• 모델은 측정된 RIR를 사용한 시뮬레이션 데이터와, 정밀한 3D 추적 시스템의 참값이 있는 제어된 환경에서의 실제 기록 데이터를 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 시간-주파수 빈 수준에서 훈련될 경우, 높은 반향성 환경에서 시간 간격 기반 방법에 비해 더 높은 DoA 추정 정확도를 달성할 수 있는가?
• RQ2 고해상도 TF 지도 학습은 강한 반향성 조건에서도 다중 이동 화자를 정확하고 안정적으로 추적할 수 있는가?
• RQ3 다양한 RT60 조건에서 제안된 FCN 기반 접근법이 고전적 방법(MUSIC, SRP-PHAT 등)과 최근 딥 러닝 기반 베이스라인(CMS-DOA 등)에 비해 MAE 및 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 다양한 공간 특징 표현 방식(예: RTF 실수/허수부 vs. 위상의 코사인/ sinus)이 모델 성능에 어떤 영향을 미치는가?
• RQ5 충분한 데이터 다양성으로 훈련된 경우, 모델은 미세조정 없이도 새로운 실내 환경과 반향 조건에 일반화될 수 있는가?

주요 결과

• 제안된 TF-DOAnet는 RT60 = 390 ms인 시뮬레이션 실내에서 평균 절대 오차(MAE)가 0.3°에 불과했으며, CMS-DOA 기준선 대비 13.1°보다 훨씬 낮았다.
• 높은 반향성 실내(RT60 = 720 ms)에서 TF-DOAnet는 94.3%의 정확도를 기록했으며, CMS-DOA(38.1%) 및 고전적 방법(MUSIC은 16.9%)에 비해 뚜렷한 우월성을 보였다.
• 1m 거리에서의 실제 기록 데이터(RT60 = 0.61 s)에서 TF-DOAnet는 98.3%의 정확도를 달성했으며, CMS-DOA 대비 71.9%보다 높았다.
• 제거 실험 결과, 제안된 RTF 기반 특징(실수/허수부)이 코사인-사인 특징과 스펙트럼 특징의 추가보다 우수했으며, 후자는 성능을 약간 저하시켰다.
• CMS-DOA와 달리, TF-DOAnet는 높은 반향성 조건에서도 부드럽고 노이즈 없는 DoA 트랙을 생성했다.
• 정적 및 동적 화자 시나리오를 포함한 다양한 음향 조건에서 모델는 일관되고 높은 성능을 유지하며 뛰어난 강인성을 보였다.