[논문 리뷰] Speech Enhancement based on Denoising Autoencoder with Multi-branched Encoders

Cheng Yu, Ryandhimas E. Zezario외 6명|arXiv (Cornell University)|2020. 01. 06.

Speech and Audio Processing참고 문헌 88인용 수 11

한 줄 요약

이 논문은 다이나믹 사이징 결정트리(DSDT)를 사용하는 다중 브랜치 인코더를 갖춘 노이즈 제거 autoencoder인 DAEME를 제안하여 음성 강화(SE)의 일반화 능력을 향상시킨다. DSDT로 분할된 데이터를 통해 각기 다른 노이즈 조건에서 구성 모델을 훈련하고 경량 디코더를 통해 출력을 융합함으로써, DAEME는 볼 수 있는 노이즈 유형뿐 아니라 볼 수 없는 노이즈 유형에서도 뛰어난 성능을 달성하여 PESQ, STOI 및 주관적 청취 테스트에서 기준 모델들을 능가한다.

ABSTRACT

Deep learning-based models have greatly advanced the performance of speech enhancement (SE) systems. However, two problems remain unsolved, which are closely related to model generalizability to noisy conditions: (1) mismatched noisy condition during testing, i.e., the performance is generally sub-optimal when models are tested with unseen noise types that are not involved in the training data; (2) local focus on specific noisy conditions, i.e., models trained using multiple types of noises cannot optimally remove a specific noise type even though the noise type has been involved in the training data. These problems are common in real applications. In this paper, we propose a novel denoising autoencoder with a multi-branched encoder (termed DAEME) model to deal with these two problems. In the DAEME model, two stages are involved: training and testing. In the training stage, we build multiple component models to form a multi-branched encoder based on a decision tree (DSDT). The DSDT is built based on prior knowledge of speech and noisy conditions (the speaker, environment, and signal factors are considered in this paper), where each component of the multi-branched encoder performs a particular mapping from noisy to clean speech along the branch in the DSDT. Finally, a decoder is trained on top of the multi-branched encoder. In the testing stage, noisy speech is first processed by each component model. The multiple outputs from these models are then integrated into the decoder to determine the final enhanced speech. Experimental results show that DAEME is superior to several baseline models in terms of objective evaluation metrics, automatic speech recognition results, and quality in subjective human listening tests.

연구 동기 및 목표

• 테스트 시 볼 수 없는 노이즈 유형에 직면했을 때 딥 러닝 기반 음성 강화의 일반화 능력 격차를 해결하기 위해.
• 특정 노이즈 유형을 다룰 때 심지어 훈련 데이터에 포함되어 있더라도 단일 통합 모델의 성능 저하 문제를 해결하기 위해.
• 음성과 노이즈 특성에 대한 사전 지식을 기반으로 인코더를 구성하여 모델의 해석 가능성과 유연성을 향상시키기 위해.
• 경량 디코더를 통해 높은 강화 품질을 유지하면서도 구성 모델의 병렬 훈련을 효율적으로 가능하게 하기 위해.
• 성능 향상을 위해 화자 신원과 노이즈 유형 정보를 통합하는 방법을 탐색하기 위해.

제안 방법

• 모델은 음성 단위(화자, SNR) 및 신호 수준(노이즈 유형, 환경) 특성에 기반한 다이나믹 사이징 결정트리(DSDT)를 구축하여 훈련 데이터를 고유한 클러스터로 분할한다.
• 각 DSDT의 리프는 다중 브랜치 인코더의 구성 모델에 대응하며, 해당 데이터 클러스터에 할당된 특정한 노이즈에서 청소된 음성으로의 매핑을 학습한다.
• 각 구성 모델는 자체 데이터 세트에서 독립적으로 훈련되어 병렬 훈련이 가능하고 특정 노이즈 조건에 특화된 적응이 가능하다.
• 공통 디코더는 CNN 기반 비선형 변환으로 구현되어 구성 모델의 출력을 융합하여 최종 강화된 음성 신호를 생성한다.
• 디코더는 구성 모델의 병합 출력에 대해 엔드 투 엔드로 훈련되어, 명시적인 노이즈 레이블이 없더라도 최적의 융합 가중치를 학습할 수 있다.
• DSDT 아키텍처는 모델의 해석 가능성을 지원하며, 어떤 음성 특성이 어떤 구성 모델을 활성화하는지 명확히 드러내며, 데이터 가용성에 기반한 자원 기반 설계도 가능하다.

실험 결과

연구 질문

• RQ1 단일 모델 기준 모델 대비 다중 브랜치 인코더 아키텍처가 볼 수 없는 노이즈 유형에 대한 음성 강화 성능 향상에 기여하는가?
• RQ2 DSDT를 통해 음성과 노이즈 특성에 대한 사전 지식을 통합함으로써 일반화 능력 향상과 해석 가능성 향상이 이루어지는가?
• RQ3 구성 모델 출력 융합에서 CNN 기반 디코더는 단순한 디코더(예: 완전 연결, 선형, 비음향형)와 비교해 성능가능성이 높은가?
• RQ4 화자 신원 정보와 노이즈 유형 정보를 효과적으로 모델에 통합하여 성능 향상을 이룰 수 있는가?
• RQ5 병렬 훈련과 경량 융합을 통해 계산 복잡도를 줄이면서도 높은 성능을 유지할 수 있는가?

주요 결과

• DAEME는 특히 볼 수 없는 노이즈 유형에서 기준 모델 대비 PESQ 및 STOI 점수에서 뚜렷한 우월성을 보이며 일반화 능력 향상을 확인했다.
• 주관적 청취 테스트에서 DAEME는 AB 선호 테스트의 78%에서 BLSTM보다 선호되었으며, SIG(신호 품질)와 BAK(노이즈 품질) 평균 점수도 높았다.
• CNN 기반 디코더는 2층 완전 연결 네트워크, 선형 변환 및 비음향형(BF) 방법보다 더 뛰어난 성능을 보였으며, 비선형 융합의 이점이 입증되었다.
• DSDT 기반의 구성 모델 아키텍처는 무작위 트리나 단일 모델 기준 모델 대비 더 뛰어난 성능을 보였으며, 특히 음성 단위 및 신호 수준 특성(USAT 트리)을 통합했을 때 두드러졌다.
• 시스템은 구성 모델의 병렬 훈련을 지원하며, 디코더가 경량이므로 전체 복잡도가 감소한다. 다만 BLSTM 구성 요소가 계산 비용의 주요 원인이다.
• 구성 모델에 화자 신원 정보를 통합함으로써 강화 품질이 추가로 향상되었으며, 이는 추가 음향 특징을 효과적으로 통합할 수 있는 모델의 유연성을 시사한다.