[논문 리뷰] RTF-steered binaural MVDR beamforming incorporating multiple external microphones

Nico Gößling, Wiebke Middelberg외 1명|arXiv (Cornell University)|2019. 08. 13.

Speech and Audio Processing참고 문헌 18인용 수 5

한 줄 요약

이 논문은 외부 마이크로부터 확보한 다수의 RTF 추정치를 세 가지 융합 전략(입력 SNR 선택, 평균화, 출력 SNR 최대화)을 사용하여 통합하는 새로운 RTF-제어 이명리스 MVDR beamforming 방법을 제안한다. 출력 SNR 최대화 전략이 상태기반 기법을 능가하며, 움직이는 화자에 대한 반향성이고 확산성 있는 잡음 환경에서 이명리스 SNR를 10.7 dB 향상시킨다.

ABSTRACT

The binaural minimum-variance distortionless-response (BMVDR) beamformer is a well-known noise reduction algorithm that can be steered using the relative transfer function (RTF) vector of the desired speech source. Exploiting the availability of an external microphone that is spatially separated from the head-mounted microphones, an efficient method has been recently proposed to estimate the RTF vector in a diffuse noise field. When multiple external microphones are available, different RTF vector estimates can be obtained by using this method for each external microphone. In this paper, we propose several procedures to combine these RTF vector estimates, either by selecting the estimate corresponding to the highest input SNR, by averaging the estimates or by combining the estimates in order to maximize the output SNR of the BMVDR beamformer. Experimental results for a moving speaker and diffuse noise in a reverberant environment show that the output SNR-maximizing combination yields the largest binaural SNR improvement and also outperforms the state-of-the art covariance whitening method.

연구 동기 및 목표

• 다양한 공간적으로 분리된 외부 마이크를 활용하여 听력 기기에서의 이명리스 노이즈 제거 성능을 향상시키는 것.
• 다른 외부 마이크에서 확보한 다수의 RTF 벡터 추정치를 융합하는 데 도전하는 것.
• 다이나믹하고 반향성이 있는 환경에서 비음향기계 성능을 향상시키기 위한 융합 전략을 개발하고 평가하는 것.
• 공분산 화이트닝 기법과 같은 기존 방법들에 비해 이명리스 SNR 향상도를 뛰어넘는 것.

제안 방법

• 확산성 잡음 가정 하에 공간적 공존성(SC) 방법을 사용하여 각 외부 마이크의 상대 전달 함수(RTF) 벡터를 추정한다.
• 세 가지 융합 전략을 적용: 가장 높은 입력 SNR 외부 마이크에서의 RTF 추정치 선택, 모든 추정치 평균화, 출력 SNR를 최대화하기 위해 선형 조합.
• MVDR 비음향기계 가중치를 병합된 RTF 벡터와 노이즈 공분산 행렬 기반으로 계산하는 밴드폭 제한 비음향기계 설정을 사용한다.
• 입력 및 노이즈 공분산 행렬을 각각 250 ms와 1.5 s의 시간 상수를 사용해 순차적으로 추정한다.
• 시간 도메인 이명리스 SNR 향상 평가를 위해 색채 필터 방법을 적용한다.
• 시간과 주파수 평균을 취한 이명리스 SNR 향상 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다수의 외부 마이크로부터 확보한 다수의 RTF 추정치를 융합하는 것이 단일 추정치 기반 방법에 비해 이명리스 MVDR 비음향기계 성능 향상에 기여하는가?
• RQ2 입력 SNR 선택, 평균화, 출력 SNR 최대화 중 어떤 RTF 벡터 융합 전략이 가장 높은 이명리스 SNR 향상도를 달성하는가?
• RQ3 제안된 출력 SNR 최대화 융합 전략이 다이나믹하고 반향성이 있는 환경에서 기존 최고 수준의 공분산 화이트닝 방법을 능가하는가?
• RQ4 움직이는 화자에 대해 제안된 방법들의 성능는 시간에 따라 어떻게 변화하는가?

주요 결과

• 출력 SNR 최대화 융합 전략(mSNR)이 10.7 dB의 가장 높은 이명리스 SNR 향상도를 달성하여, 기존 최고 수준의 공분산 화이트닝 방법(10.4 dB)을 뚜렷이 능가한다.
• 입력 SNR 기반 선택(iSNR) 전략은 10.3 dB의 성능을 기록하여 공분산 화이트닝 방법과 유사한 성능을 달성하지만, 계산 복잡도가 낮다.
• 평균화(AV) 전략은 단지 8.9 dB의 성능을 기록하여, 외부 마이크들 간의 일관되지 않은 추정 오차로 인해 성능 저하가 발생함을 시사한다.
• 시간 도메인 SNR 향상 곡선에서 mSNR 융합 전략은 모든 시간 구간에서 iSNR 및 AV 전략을 모두 초월한다.
• mSNR 전략은 iSNR 전략 대비 0.5 dB의 향상도를 기록하여, RTF 융합에서 SNR 기반 최적화의 효과를 입증한다.
• mSNR 전략는 단지 3차원 고유값 분해만 필요로 하여 뛰어난 성능에도 불구하고 계산 효율성이 높다.