[논문 리뷰] RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field

N. Gößling, S. Doclo|arXiv (Cornell University)|2018. 07. 11.

Speech and Audio Processing인용 수 3

한 줄 요약

이 논문은 산란된 잡음 환경에서 상대 음향 전달 함수(RTF)를 추정하기 위해 외부 마이크를 활용하는 계산 효율성이 뛰어난 RTF 기반 이앙 MVDR 빔포머를 제안한다. 머리에 장착된 마이크와 외부 마이크의 잡음 성분 간 공간적 정합도가 0이라고 가정함으로써, 편향이 없는 RTF 추정기를 도출하였으며, 이는 소음 감소와 이앙 신호 유지에 있어 뛰어난 성능을 발휘한다. 특히 고리버브레이션 및 저 SNR 조건에서 오라클 추정기 수준에 근접한 성능을 달성한다.

ABSTRACT

Besides suppressing all undesired sound sources, an important objective of a binaural noise reduction algorithm for hearing devices is the preservation of the binaural cues, aiming at preserving the spatial perception of the acoustic scene. A well-known binaural noise reduction algorithm is the binaural minimum variance distortionless response beamformer, which can be steered using the relative transfer function (RTF) vector of the desired source, relating the acoustic transfer functions between the desired source and all microphones to a reference microphone. In this paper, we propose a computationally efficient method to estimate the RTF vector in a diffuse noise field, requiring an additional microphone that is spatially separated from the head-mounted microphones. Assuming that the spatial coherence between the noise components in the head-mounted microphone signals and the additional microphone signal is zero, we show that an unbiased estimate of the RTF vector can be obtained. Based on real-world recordings, experimental results for several reverberation times show that the proposed RTF estimator outperforms the widely used RTF estimator based on covariance whitening and a simple biased RTF estimator in terms of noise reduction and binaural cue preservation performance.

연구 동기 및 목표

• ILD 및 ITD와 같은 공간 인식 측정값을 유지하면서 听력 기기에서 이앙 소음 감소를 향상시키기 위해.
• 기존 방법이 떨어지는 고리버브레이션 및 산란된 잡음 환경에서 RTF 추정의 과제를 해결하기 위해.
• 머리에 장착된 마이크와 공간적으로 분리된 외부 마이크를 사용하여 최소한의 공간 상관관계를 갖는 계산 효율적인 RTF 추정기를 개발하기 위해.
• 실제 조건에서 최신 기술의 RTF 추정기, 특히 공분산 화이트닝 및 편향 추정기와의 성능 비교를 위해.

제안 방법

• 머리에 장착된 마이크와 분리된 외부 마이크를 사용하여 잡음 성분의 상관관계 감소를 활용한다.
• 머리에 장착된 마이크와 외부 마이크 신호의 잡음 간 공간적 정합도가 0이라고 가정하여 편향 없는 RTF 추정이 가능하도록 한다.
• 교차 스펙트럼 행렬과 잡음 공분산 추정치를 사용하여 공간 정합도 기반 RTF 추정기(SC)를 유도한다.
• 잡음 및 음성 신호의 파wr 추적을 위해 시간에 따라 변화하는 공분산 행렬 추정에 기록 인자(Forgetting factors)를 적용한다.
• 추정된 RTF 벡터와 잡음 공분산을 사용하여 간섭을 억제하면서도 이앙 신호를 유지하는 BMVDR 빔포머를 구현한다.
• 실제 음향 기록을 사용하여 제안된 SC 추정기, 편향된 RTF 추정기, 공분산 화이트닝(CW), 오라클 SCopt 추정기와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 공간적 정합도가 낮은 산란된 잡음 환경에서, 외부 마이크가 RTF 추정 정확도 향상에 기여할 수 있는가?
• RQ2 제안된 공간 정합도 기반 RTF 추정기(SC)가 공분산 화이트닝 및 편향 추정기보다 더 나은 소음 감소 및 이앙 신호 유지 성능을 보일 수 있는가?
• RQ3 청정 음성 신호를 외부 신호로 사용할 때, 제안된 RTF 추정기의 성능이 오라클 추정기와 비교해 어떻게 되는가?
• RQ4 리버브레이션 시간과 입력 SNR이 제안된 RTF 추정기 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 모든 리버브레이션 시간 및 입력 SNR 조건에서, 제안된 공간 정합도 기반 RTF 추정기(SC)가 공분산 화이트닝(CW) 및 편향된 RTF 추정기보다 항상 더 높은 SNR 향상 성능을 보였다.
• 리버브레이션 시간이 250 ms, 500 ms, 750 ms일 경우, SC 추정기는 CW 및 편향된 추정기보다 더 높은 이해도 가중 SNR 향상 성능를 달성하였다.
• SC 추정기를 사용할 경우, 이앙 신호 오차(ILD 및 ITD)가 크게 감소하였으며, 특히 고리버브레이션 조건에서 두드러졌다. 이는 오라클 SCopt 추정기 성능에 근접하였다.
• SC 추정기는 주파수 대역 간 일관성 있는 이앙 신호를 생성하여, CW 및 편향된 추정기에서 관찰된 방향 혼동 또는 산산이 흩어지는 소리 인식과 같은 아티팩트를 감소시켰다.
• SC 추정기와 오라클 SCopt 추정기 간 성능 격차는 극히 미미하였으며, 실험 조건에서 공간 정합도가 0이라는 가정이 타당함을 검증하였다.
• 비공식 청취 테스트 결과, SC 추정기를 사용할 경우 원하는 소스가 점음원으로 인식되며 리버브레이션 감소 효과가 있었으며, 자연스러운 공간 인식이 향상됨을 확인하였다.