[논문 리뷰] Distributed Microphone Speech Enhancement based on Deep Learning

Syu‐Siang Wang, Yu-You Liang외 4명|arXiv (Cornell University)|2019. 11. 19.

Speech and Audio Processing참고 문헌 39인용 수 5

한 줄 요약

이 논문은 확산성 소음 환경에서 분산 마이크로폰 어레이를 위한 세 가지 딥 네ural 네트워크(DNN) 기반 음성 강화(SE) 시스템을 제안한다. 채널 별 DNN 강화를 수행한 후 두 번째 DNN를 통해 융합하는 DNN–C 시스템은 TMHINT 데이터셋에서 단일 채널(DNN–S) 및 중심집중형 융합(DNN–F) 접근 방식을 능가하며, SSNRI 향상도 16.729 dB, STOI 점수 0.770을 기록하여 가장 높은 음성 품질과 이해도를 확보한다.

ABSTRACT

Speech-related applications deliver inferior performance in complex noise environments. Therefore, this study primarily addresses this problem by introducing speech-enhancement (SE) systems based on deep neural networks (DNNs) applied to a distributed microphone architecture, and then investigates the effectiveness of three different DNN-model structures. The first system constructs a DNN model for each microphone to enhance the recorded noisy speech signal, and the second system combines all the noisy recordings into a large feature structure that is then enhanced through a DNN model. As for the third system, a channel-dependent DNN is first used to enhance the corresponding noisy input, and all the channel-wise enhanced outputs are fed into a DNN fusion model to construct a nearly clean signal. All the three DNN SE systems are operated in the acoustic frequency domain of speech signals in a diffuse-noise field environment. Evaluation experiments were conducted on the Taiwan Mandarin Hearing in Noise Test (TMHINT) database, and the results indicate that all the three DNN-based SE systems provide the original noise-corrupted signals with improved speech quality and intelligibility, whereas the third system delivers the highest signal-to-noise ratio (SNR) improvement and optimal speech intelligibility.

연구 동기 및 목표

• 복잡한 소음 환경에서 분산 마이크로폰 어레이를 활용해 저하된 음성 품질과 이해도 문제를 해결하기 위해.
• 확산성 소음 환경에서 다중채널 음성 강화를 위한 세 가지 별개의 DNN 아키텍처의 효과성을 조사하기 위해.
• 분산 음성 강화를 위한 단일 채널, 중심집중형 융합, 이중 단계 융합 DNN 구조를 비교하기 위해.
• TMHINT 데이터베이스에서 STOI 및 SSNRI와 같은 목적적 지표를 사용해 성능을 평가하기 위해.

제안 방법

• DNN–S 시스템은 각 마이크로폰 채널에 별도의 DNN를 적용하여 개별적인 노이즈 제거를 수행한다.
• DNN–F 시스템은 모든 노이즈가 포함된 녹음을 융합 센터로 전송하고, 단일 DNN가 병합된 다중채널 입력을 처리한다.
• DNN–C 시스템은 먼저 각 채널에서 국소 DNN 강화를 수행한 후, 향상된 출력을 두 번째 DNN를 통해 융합하여 최종 신호 재구성한다.
• 모든 시스템은 다양한 노이즈 조건 하에서 TMHINT 데이터셋으로 훈련된 DNN를 사용하여 음향 주파수 도메인에서 작동한다.
• DNN는 스펙트럼 왜곡을 최소화하도록 훈련되며, 평가 기준으로는 STOI(단기 객관적 이해도)와 SSNRI(신호 대 하위공간 노이즈 비율 향상도)를 사용한다.
• 공간적 다양성과 딥 러닝을 활용하여 확산성 소음 환경에서 음성 품질과 이해도를 향상시킨다.

실험 결과

연구 질문

• RQ1 개별 채널에서 DNN 처리를 수행하는 분산 마이크로폰 어레이(DNN–S)가 중심집중형 DNN 처리(DNN–F)보다 음성 강화 성능에서 어떻게 다를까?
• RQ2 국소 강화와 융합을 결합한 이중 단계 DNN 아키텍처(DNN–C)가 단일 단계 또는 중심집중형 접근 방식을 능가할 수 있는가?
• RQ3 마이크로폰 위치와 채널별 노이즈가 확산성 소음 환경에서 DNN 기반 SE 성능에 미치는 영향은 어떠한가?
• RQ4 다양한 노이즈 유형과 SNR 수준에서 DNN 기반 시스템 간의 목적적 지표(STOI 및 SSNRI) 비교는 어떻게 이루어지는가?

주요 결과

• DNN–C 시스템은 평균 SSNRI 향상도 16.729 dB를 기록하여 DNN–S(11.464 dB) 및 DNN–F(12.760 dB)를 크게 앞서며 가장 높은 성능을 보였다.
• DNN–C 시스템은 STOI 점수 0.770을 기록하여 DNN–F(0.764) 및 DNN–S(0.678)를 초월하여 더 뛰어난 음성 이해도를 확보했다.
• DNN–S 시스템은 채널 간 성능이 일관되지 않았으며, DNN–S1에서 채널 m1의 STOI 점수(0.670)가 입력(0.672)보다 낮아 과적합의 가능성이 있었다.
• 스펙트로그램 분석을 통해 DNN–C가 DNN–F보다 더 선명한 스펙트럼 구조를 유지하고 고주파 영역에서 더 효과적으로 노이즈를 감소시켰다.
• 시각적으로 Fig. 7(d)에서 확인했듯이, DNN–C 시스템은 청소년 신호와 가장 유사한 스펙트로그램을 보였다.
• 결과적으로 국소 강화와 융합 DNN 단계를 조합함으로써 분산 마이크로폰 SE에서 더 뛰어난 노이즈 제거 및 이해도 향상 성과를 달성할 수 있음을 확인했다.