[논문 리뷰] Multi-Microphone Complex Spectral Mapping for Speech Dereverberation

Zhong-Qiu Wang, DeLiang Wang|arXiv (Cornell University)|2020. 03. 04.

Speech and Audio Processing참고 문헌 40인용 수 4

한 줄 요약

이 논문은 복소 스펙트럼 매핑 방법을 사용하여 다중 마이크 환경에서 음성 복소화를 위한 딥 뉴럴 네트워크(DNN) 기반 방법을 제안한다. 이 방법은 다중 마이크에서의 다중 반사 및 노이즈가 섞인 신호를 스택하여 직접 음성의 실수부와 허수부를 예측한다. 이 접근법은 비례 기반 및 후처리 필터링과 결합될 경우 음성 품질과 이해도를 햖을 뿐만 아니라, 다중 채널 음성 복소화 작업에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

This study proposes a multi-microphone complex spectral mapping approach for speech dereverberation on a fixed array geometry. In the proposed approach, a deep neural network (DNN) is trained to predict the real and imaginary (RI) components of direct sound from the stacked reverberant (and noisy) RI components of multiple microphones. We also investigate the integration of multi-microphone complex spectral mapping with beamforming and post-filtering. Experimental results on multi-channel speech dereverberation demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 고정 마이크 어레이를 사용하여 반사 환경에서의 음성 품질 저하 문제를 해결하기 위해.
• 다중 마이크 반사 입력에서 직접 음성 성분을 추정하는 딥 러닝 기반 방법을 개발하기 위해.
• 다중 마이크 간 실수 및 허수 스펙트럼 성분을 동시에 모델링하여 음성 복소화 성능을 향상시키기 위해.
• 복소 스펙트럼 매핑을 비례 기반 및 후처리 필터링과 통합하여 더 높은 내성 확보를 위해.
• 실세계 다중 채널 음성 복소화 작업에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• DNN는 다중 반사 및 노이즈가 섞인 마이크 신호의 스택된 실수부 및 허수부로부터 직접 음성의 실수부 및 허수부를 예측하도록 훈련된다.
• DNN의 입력은 다중 마이크 신호의 복소 스펙트럼 표현으로, 공간적 및 스펙트럼적 특성을 모두 반영한다.
• 네트워크 아키텍처는 직접 경로 음성 신호를 복원하기 위해 마이크 간 위상 및 진폭 차이를 모델링하도록 설계되었다.
• 잔여 반사 및 노이즈를 추가로 억제하기 위해 이 방법은 비례 기반 및 후처리 필터링과 결합된다.
• 훈련 목표는 예측된 직접 음성의 실수부 및 허수부와 진정값 간의 평균 제곱오차를 최소화하는 것이다.
• 이 방법은 시간-주파수 도메인에서 처리가 가능한 단기 푸리에 변환(STFT) 도메인에서 작동한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 다중 마이크 반사 입력에서 직접 음성의 실수부 및 허수부를 효과적으로 추정할 수 있는가?
• RQ2 다중 마이크 복소 스펙트럼 매핑 방법은 단일 마이크 접근법에 비해 복소화 성능에서 어떻게 비교되는가?
• RQ3 비례 기반 및 후처리 필터링과의 통합이 음성 품질과 이해도 향상에 얼마나 기여하는가?
• RQ4 이 제안된 방법은 다양한 반사 및 노이즈 조건에서 얼마나 견고한가?
• RQ5 실수 및 허수 성분을 동시에 모델링하는 것이 크기만 고려하는 표현에 비해 어떤 기여를 하는가?

주요 결과

• 기본 복소화 기법에 비해 제안된 방법은 음성 품질과 이해도에서 뚜렷한 향상을 이룬다.
• 복소 스펙트럼 매핑을 비례 기반 및 후처리 필터링과 통합하면 특히 고도로 반사된 환경에서 뛰어난 성능을 발휘한다.
• 실수 및 허수 성분을 DNN 기반으로 예측하는 방법은 크기만 고려하는 모델링보다 성능이 뛰어나며, 음성 인지에 핵심적인 위상 정보를 유지한다.
• 이 방법은 배경 노이즈 수준이 높거나 반사 시간이 긴 다양한 음향 조건에서도 견고함을 입증한다.
• 정량적 결과로는 로그우도 및 STOI(단기 목표 이해도) 점수의 상당한 감소가 관찰되어 음성 품질 향상을 시사한다.
• 표준 다중 채널 음성 복소화 데이터셋을 통해 이 방법의 유효성과 일반화 능력이 검증되었다.