[논문 리뷰] PSD estimation in Beamspace for Estimating Direct-to-Reverberant Ratio from A Reverberant Speech Signal

Yusuke Hioka, Kenta Niwa|arXiv (Cornell University)|2015. 10. 30.

Speech and Audio Processing참고 문헌 10인용 수 9

한 줄 요약

이 논문은 마이크 어레이를 사용한 비스페이스에서 전력스펙트럼밀도(PSD) 추정을 통해 직접 음향과 리버버버레이션을 분리하기 위해 두 개의 지연-합산 beamformer를 활용한 블라인드 DRR 추정 방법을 제안한다. ACE 챌린지 코퍼스에서 평가된 결과, 이전 방법들과 비교해 추정 오차 분산이 낮고 정확도가 향상되었으며, 다양한 음향 조건과 노이즈 수준에서도 뛰어난 성능을 보였다. 校정을 통해 오차의 편향 또한 감소시켰다.

ABSTRACT

A method for estimation of direct-to-reverberant ratio (DRR) using a microphone array is proposed. The proposed method estimates the power spectral density (PSD) of the direct sound and the reverberation using the algorithm extit{PSD estimation in beamspace} with a microphone array and calculates the DRR of the observed signal. The speech corpus of the ACE (Acoustic Characterisation of Environments) Challenge was utilised for evaluating the practical feasibility of the proposed method. The experimental results revealed that the proposed method was able to effectively estimate the DRR from a recording of a reverberant speech signal which included various environmental noise.

연구 동기 및 목표

• 실내 임펄스 응답 또는 소스 방향에 대한 사전 지식이 없이도 블라인드 DRR 추정을 가능하게 하는 방법 개발.
• 비스페이스에서의 비음향형 Beamforming을 통한 공간 다양성 활용으로 추정 정확도 향상.
• ACE 챌린지 데이터셋을 사용하여 소스 방향이 알려지지 않은 상태와 환경 노이즈가 존재하는 완전한 블라인드 조건 하에서의 성능 평가.
• 제안된 방법과 ACE 코퍼스 간의 DRR 정의 차이로 인한 추정 편향을 줄이기 위한 조치.
• 다양한 음향 환경과 노이즈 수준에서의 강인성 평가.

제안 방법

• 동일한 비음향형상(shape)을 가지지만 서로 다른 조향 방향을 가진 두 개의 지연-합산 beamformer를 사용: 하나는 추정된 소스 방향에 맞추어지고, 다른 하나는 아즈임 각도로 60도 이격되어 있다.
• Beamformer 출력을 바탕으로 직접 음향은 공간적으로 일관성이 있으며, 리버버버레이션은 확산적임을 가정하여, 비스페이스에서의 직접 음향과 리버버버레이션의 전력스펙트럼밀도(PSD)를 추정한다.
• 각 주파수 빈에서 직접 음향의 추정된 PSD를 리버버버레이션의 추정된 PSD로 나누어 DRR을 계산한다.
• 신호 에너지 임계치를 정적 노이즈 추정에서 유도한 VAD(음성 활성 검출) 단계를 통해 음성 활성 프레임을 선별한다.
• 소스 방향 입력을 확보하기 위해, 지향된 beamformer와 지연-합산 비음향형을 사용한 DOA(도래 방향) 추정을 수행한다.
• Dev 데이터셋을 사용하여 일정한 편향 校정을 적용하여, 제안된 방법과 ACE 코퍼스 간의 DRR 정의 차이, 특히 초기 반사파 처리 방식의 차이로 인한 오차를 보정한다.

실험 결과

연구 질문

• RQ1 완전한 블라인드 상황에서, 비스페이스 기반의 PSD 추정 방법이 일관성 기반 방법보다 더 정확한 DRR 추정을 달성할 수 있는가?
• RQ2 제안된 방법은 ACE 챌린지 데이터셋의 다양한 음향 환경과 노이즈 수준에서 어떻게 성능을 발휘하는가?
• RQ3 이 방법의 정확도는 사전 추정된 DOA의 정확도에 얼마나 의존하는가?
• RQ4 소규모 校정 데이터셋을 사용하여 DRR 추정의 편향을 효과적으로 보완할 수 있는가?
• RQ5 동일한 비음향형상을 가진 두 개의 beamformer를 서로 다른 조향 방향으로 사용할 경우, 직접 음향과 리버버버레이션 성분의 분리가 향상되는가?

주요 결과

• 제안된 방법은 저자들이 이전에 제안한 일관성 기반 PSD 방법보다 추정 오차의 분산이 낮아, 더 높은 강인성을 보였다.
• ACE 챌린지의 Eval 데이터셋에서 테스트된 모든 노이즈 수준과 실내 유형에서 정확도가 향상된 것으로 나타났다.
• 편향 校정이 체계적 오차, 특히 ACE 코퍼스와 제안된 모델 간의 초기 반사파 분류 방식의 차이로 인한 오차를 크게 감소시켰다.
• DOA 추정 성능이 열악한 환경에서는 성능 저하가 관찰되어, 이 방법이 소스 방향 정확도에 민감함을 확인하였다.
• 특히 도전적인 음향 조건에서 평균 오차와 오차 분포의 산포도 면에서 이전 방법들을 모두 능가하는 성능을 보였다.
• 결과적으로 향후 DRR 추정 방법은 정밀한 DOA 추정에 더 의존하지 않도록 설계되어야 실생활 강인성이 향상될 수 있음을 시사한다.