[논문 리뷰] DOA Estimation by DNN-based Denoising and Dereverberation from Sound Intensity Vector

Masahiro Yasuda, Yuma Koizumi외 3명|arXiv (Cornell University)|2019. 10. 10.

Speech and Audio Processing참고 문헌 7인용 수 4

한 줄 요약

이 논문은 잡음과 리버버버레이션 환경에서 음향 강도 벡터(IV)-기반 도래각(DOA) 추정의 정확도를 향상시키기 위해 소음 제거 및 리버버버레이션 제거를 위한 두 개의 딥 네ural 네트워크(DNN)를 사용하는 하이브리드 DOA 추정 방법을 제안한다. DNN들은 물리 기반 DOA 추정을 적용하기 전에 시간-주파수 도메인에서 IV를 정제한다. 이로 인해 평균 DOA 오차가 0.528°로 나타나, 기존의 IV-기반 방법과 엔드 투 엔드 DNN 방법보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a direction of arrival (DOA) estimation method that combines sound-intensity vector (IV)-based DOA estimation and DNN-based denoising and dereverberation. Since the accuracy of IV-based DOA estimation degrades due to environmental noise and reverberation, two DNNs are used to remove such effects from the observed IVs. DOA is then estimated from the refined IVs based on the physics of wave propagation. Experiments on an open dataset showed that the average DOA error of the proposed method was 0.528 degrees, and it outperformed a conventional IV-based and DNN-based DOA estimation method.

연구 동기 및 목표

• 저 SNR 및 리버버버레이션 환경에서 IV-기반 DOA 추정의 강인성을 향상시키기 위해.
• 순수한 파rametric한 IV-기반 방법의 한계를 해결하기 위해, 이는 잡음과 리버버버레이션 하에서 성능이 저하되기 때문이다.
• DNN 기반 신호 강화 기술과 물리적 파동 전파 모델을 통합하여 정확도를 향상시키면서도 해석 가능성을 유지하기 위해.
• DNN 기반 전처리와 물리 기반 DOA 추정을 조합함으로써 엔드 투 엔드 DNN 또는 독립적인 IV 방법보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.
• 공간 증강과 다중 작업 학습이 DOA 추정 강인성 향상에 얼마나 효과적인지 검증하기 위해.

제안 방법

• 네 채널 스펙트로그램에서 시간-주파수 도메인의 음향 강도 벡터(IV)를 계산하기 위해 1차원 암비오닉스(FOA) B-포맷 신호를 사용한다.
• 에너지 임계값 기반으로 고전력 T-F 빈을 선택함으로써 잡음을 억제하기 위해 T-F 마스크(MASKnet)를 적용한다.
• 두 번째 DNN(RIVnet)을 사용하여 IV에서 잔여 간섭을 추정하고 제거함으로써 리버버버레이션 영향을 감소시킨다.
• 소음 제거 및 리버버버레이션 제거된 IV를 조합하여 물리 기반 공식을 사용해 시간 시리즈 DOA를 계산한다: $\phi_t = \arctan(I_{Y,t}/I_{X,t})$, $\theta_t = \arctan(I_{Z,t}/\sqrt{I_{X,t}^2 + I_{Y,t}^2})$.
• 각도 추정과 소스 존재 여부를 동시에 최적화하기 위해 DOA 회귀 손실과 음성 활성 검출(SAD) 손실을 조합한 다중 작업 손실 함수를 사용한다.
• 16가지 패턴을 사용한 FOA 도메인 공간 증강을 적용하여 학습 중 일반화 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 DNN 기반 소음 제거 및 리버버버레이션 제거 기법은 잡음과 리버버버레이션 환경에서 IV-기반 DOA 추정의 정확도를 향상시킬 수 있는가?
• RQ2 DNN 기반 신호 강화 기술과 물리 기반 DOA 추정을 조합하면 엔드 투 엔드 DNN 또는 전통적인 IV 방법보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 T-F 마스크(MASKnet)와 잔여 IV 추정 네트워크(RIVnet)의 조합이 DOA 추정을 위한 IV 정제에 얼마나 효과적인가?
• RQ4 FOA 도메인에서의 공간 증강은 제안된 방법의 강인성 향상에 어느 정도 기여하는가?
• RQ5 DOA 추정에 SAD를 통합하면 시간-시리즈 DOA 작업의 전체 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 평균 DOA 오차가 0.528°로 나타나, 기존의 IV-기반 방법과 엔드 투 엔드 DNN 기준선보다 유의미하게 뛰어난 성능을 보였다.
• 아키텍처 B(모든 MASKnet과 RIVnet 포함)는 아키텍처 A(RIVnet 미포함)보다 낮은 DOA 오차를 기록하여 리버버버레이션 제거 기법이 IV-기반 DOA 추정 성능 향상에 효과적임을 입증했다.
• FOA 도메인 공간 증강을 적용한 아키텍처 C는 평균 DOA 오차가 가장 낮아, 데이터 증강이 DOA 추정에서 DNN의 일반화 능력을 향상시킨다는 것을 확인했다.
• 제안된 방법의 프레임 복귀(FR) 성능은 기존의 IV-기반 방법보다 높아, 음성 활성 검출 정확도 향상이 이루어졌음을 시사한다.
• DOA와 SAD 손실을 함께 최적화하는 다중 작업 학습 설정이 시간-시리즈 DOA 추정의 전반적인 강인성과 정확도를 향상시켰다.
• 이산화된 DOA 추정 값(10° 해상도)에 대해 중앙값 스무딩을 적용한 후처리 처리를 통해 일관성과 각도 진동 감소가 향상되어 이벤트 수준의 DOA 출력 품질이 향상되었다.