[논문 리뷰] Optimal Binaural LCMV Beamforming in Complex Acoustic Scenarios: Theoretical and Practical Insights

Nico Gößling, Daniel Marquardt외 3명|arXiv (Cornell University)|2018. 07. 12.

Speech and Audio Processing참고 문헌 14인용 수 4

한 줄 요약

이 논문은 복잡한 음향 환경에서 이명리듬적 쌍방향 신호를 유지하기 위해 이명리듬 선형 제약 최소 분산(BLCMV) beamformer에 최적의 간섭 스케일링 파라미터를 제안한다. 이러한 파라미터에 상한 및 하한 임계값을 적용하여 짧은 관측 간격에서의 추정 오차에도 불구하고 강건한 성능을 달성하며, 실제 청력 보조기 응용 프로그램에서 측정된 인파르스 응답을 사용하여 효과적인 노이즈 감소를 유지하면서도 이명리듬 쌍방향 신호 오차를 크게 감소시킨다.

ABSTRACT

Binaural beamforming algorithms for head-mounted assistive listening devices are crucial to improve speech quality and speech intelligibility in noisy environments, while maintaining the spatial impression of the acoustic scene. While the well-known BMVDR beamformer is able to preserve the binaural cues of one desired source, the BLCMV beamformer uses additional constraints to also preserve the binaural cues of interfering sources. In this paper, we provide theoretical and practical insights on how to optimally set the interference scaling parameters in the BLCMV beamformer for an arbitrary number of interfering sources. In addition, since in practice only a limited temporal observation interval is available to estimate all required beamformer quantities, we provide an experimental evaluation in a complex acoustic scenario using measured impulse responses from hearing aids in a cafeteria for different observation intervals. The results show that even rather short observation intervals are sufficient to achieve a decent noise reduction performance and that a proposed threshold on the optimal interference scaling parameters leads to smaller binaural cue errors in practice.

연구 동기 및 목표

• 다양한 간섭 소스의 이명리듬 쌍방향 신호를 유지하기 위한 BLCMV 빔포머에 최적의 간섭 스케일링 파라미터를 유도하기 위해.
• 짧은 시간 관측 간격으로 인한 추정 오차로 인해 실무에서 성능 저하가 발생하는 문제를 해결하기 위해.
• RTF 추정 오차에 대한 강건성을 향상시키기 위해 간섭 스케일링 파라미터에 대한 임계값 전략을 제안하기 위해.
• 실제 카페 시나리오에서 다양한 상관 행렬과 관측 간격을 사용하여 BMVDR 및 BLCMV 빔포머의 성능을 평가하기 위해.
• 짧은 관측 간격이 임계값을 적용한 파라미터를 사용할 경우 효과적인 노이즈 감소와 이명리듬 쌍방향 신호 유지에 충분하다는 것을 입증하기 위해.

제안 방법

• BMVDR-RTF 빔포머를 기반으로 하여 다수의 간섭 소스에 대해 이명리듬 쌍방향 신호 유지가 보장되는 BLCMV에 최적의 간섭 스케일링 파라미터를 유도한다.
• 실무에서 RTF 추정 오차에 대한 강건성을 향상시키기 위해 최적의 스케일링 파라미터에 상한 및 하한 임계값을 적용한다.
• 카페에서 청력 보조기의 측정된 인파르스 응답을 사용하여 현실적인 복잡한 음향 환경을 시뮬레이션한다.
• 실시간 빔포머 구현을 위해 256점 블록과 50% 겹침을 사용하는 가중치 오버랩-애드 처리 프레임워크를 활용한다.
• 짧은 시간 관측 간격에서 상관 행렬(R_y, R_v, R_n)과 RTF를 추정하여 추정 불확실성 하에서 성능를 평가한다.
• SINR 향상도와 이명리듬 쌍방향 신호 오차(ILD 및 ITD)를 성능 지표로 사용하여 주파수 및 시나리오 평균 기반으로 빔포머를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 간섭 소스의 이명리듬 쌍방향 신호를 유지하기 위한 BLCMV 빔포머에 최적의 간섭 스케일링 파라미터는 무엇인가?
• RQ2 짧은 관측 간격에서의 추정 오차는 BLCMV 및 BMVDR 빔포머의 성능에 어떤 영향을 미치는가?
• RQ3 최적의 간섭 스케일링 파라미터에 임계값을 적용하면 RTF 추정 오차에 대한 강건성이 향상되는가?
• RQ4 상관 행렬(R_y, R_v, R_n)의 선택은 SINR 향상도와 이명리듬 쌍방향 신호 유지에 어떤 영향을 미치는가?
• RQ5 최적의 스케일링 파라미터 대비 임계값을 적용한 파라미터를 사용할 경우 SINR 향상도와 이명리듬 쌍방향 신호 오차 사이에 트레이드오프가 존재하는가?

주요 결과

• 200ms 미만의 짧은 관측 간격이라도 충분한 노이즈 감소 성능를 제공하며, 제한된 데이터에서의 추정이 가능하다는 것을 시사한다.
• BLCMV에 최적의 간섭 스케일링 파라미터(δ^opt)를 사용할 경우, 특히 짧은 관측 간격에서 BMVDR 빔포머와 유사한 이명리듬 쌍방향 신호 오차를 기록한다.
• 최적의 간섭 스케일링 파라미터(δ^opt)에 임계값을 적용한 결과(δ^thr), 특히 ITD에 대해 이명리듬 쌍방향 신호 오차가 크게 감소한다.
• R_n을 사용할 경우, 관측 간격이 300ms 이상일 때 BLCMV 빔포머가 BMVDR보다 SINR에서 뛰어난 성능를 보이며, 추가 제약 조건 덕분이다.
• 짧은 관측 간격이 존재하는 동적 환경에서는 R_v보다 R_n을 사용하는 것이 바람직하며, R_v는 정확하게 추정하기 어려운 편이다.
• 비공식 청취 테스트 결과, δ^thr가 공간적 신호를 더 효과적으로 유지함으로써 더 뛰어난 청취 품질을 제공한다는 것을 확인하였다.