[논문 리뷰] Noise Adaptive Speech Enhancement using Domain Adversarial Training

Chien-Feng Liao, Yu Tsao외 2명|arXiv (Cornell University)|2018. 07. 19.

Speech and Audio Processing참고 문헌 43인용 수 16

한 줄 요약

이 논문은 도메인 적대적 훈련(DAT)을 사용하여 미리 알 수 없는 노이즈 유형에 대한 강건성을 향상시키기 위해 노이즈 적응형 음성 강화 시스템을 제안한다. 양방향 LSTM 인코더-디코더를 도메인 구분자와 함께 훈련함으로써, 레이블이 없는 타겟 도메인의 노이즈 있는 음성에서 노이즈 불변 특징을 학습하며, 비적응 기준 모델 대비 19.0% 향상된 PESQ, 39.3% 향상된 SSNR, 27.0% 향상된 STOI를 달성한다.

ABSTRACT

In this study, we propose a novel noise adaptive speech enhancement (SE) system, which employs a domain adversarial training (DAT) approach to tackle the issue of a noise type mismatch between the training and testing conditions. Such a mismatch is a critical problem in deep-learning-based SE systems. A large mismatch may cause a serious performance degradation to the SE performance. Because we generally use a well-trained SE system to handle various unseen noise types, a noise type mismatch commonly occurs in real-world scenarios. The proposed noise adaptive SE system contains an encoder-decoder-based enhancement model and a domain discriminator model. During adaptation, the DAT approach encourages the encoder to produce noise-invariant features based on the information from the discriminator model and consequentially increases the robustness of the enhancement model to unseen noise types. Herein, we regard stationary noises as the source domain (with the ground truth of clean speech) and non-stationary noises as the target domain (without the ground truth). We evaluated the proposed system on TIMIT sentences. The experiment results show that the proposed noise adaptive SE system successfully provides significant improvements in PESQ (19.0%), SSNR (39.3%), and STOI (27.0%) over the SE system without an adaptation.

연구 동기 및 목표

• 딥 러닝 기반 음성 강화에서 훈련 조건과 테스트 조건 간의 노이즈 유형 불일치 문제를 해결하는 데 초점을 맞춘다.
• 타겟 도메인 데이터에 대해 청소된 기준 신호가 필요 없이도 음성 강화 모델의 일반화 능력을 향상시키는 것을 목표로 한다.
• 청소된 참조 신호 없이도 타겟 도메인의 레이블이 없는 노이즈 있는 음성만으로 효과적인 적응을 가능하게 한다. 이는 비용이 많이 드는 데이터 수집 및 레이블링을 피할 수 있다.
• 도메인 적대적 훈련이 노이즈 불변 특징을 추출할 수 있으며, 다양한 노이즈 환경에서 모델의 강건성을 향상시킬 수 있음을 입증한다.

제안 방법

• 정적 노이즈를 소스 도메인(청소된 음성 참조가 있는 경우)으로, 비정적 노이즈를 타겟 도메인(청소된 참조가 없는 경우)으로 정의한다.
• 도메인 구분자를 포함한 인코더-디코더 아키텍처를 훈련하여 도메인 적대적 훈련(DAT)을 수행하며, 인코더는 노이즈 유형을 구분할 수 있는 도메인 구분자의 능력을 최소화하도록 학습한다.
• 소스 도메인과 타겟 도메인 간에 구분이 불가능한 특징을 생성하도록 인코더를 최적화하여 노이즈 불변성을 촉진한다.
• 음성 강화 손실(L1/L2 등)과 도메인 적대적 손실을 조합한 공동 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 스펙트로그램 기반 특징(257×32)을 사용하여 TIMIT 데이터에 모델를 적용하고, 역 STFT와 오버랩-애드 방법을 활용하여 웨이브폼 재구성한다.
• 청소된 참조가 없는 타겟 도메인의 레이블이 없는 노이즈 있는 음성 문장을 훈련 중에 활용하여 청소된 기준이 없는 조건에서도 모델 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 청소된 기준 신호가 없는 상황에서, 도메인 적대적 훈련이 새로운 노이즈 유형에 대해 음성 강화 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 레이블이 없는 타겟 도메인의 노이즈 데이터 양이 노이즈 적응형 모델의 성능 향상에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 적응에 사용된 노이즈 유형과 다른 노이즈 유형으로도 일반화되는가? 과적합을 피할 수 있는가?
• RQ4 비지도 도메인 적응 접근 방식은 음성 강화에서 완전히 지도된 상한 모델에 얼마나 가까이 도달할 수 있는가?

주요 결과

• 테스트 시 베이비 크라이 노이즈를 다양한 SNR 수준에서 사용했을 때, 제안된 노이즈 적응형 모델은 비적응 기준 모델 대비 평균 PESQ가 19.0% 향상되었다.
• 모델은 SSNR에서 39.3% 향상되고 STOI에서 27.0% 향상되어 음성 품질과 이해 가능성 향상이 뚜렷하게 나타났다.
• 베이비 크라이 노이즈로 적응한 상태에서도, 카페터리아 배블 노이즈에서조차 기준 모델을 능가하는 성능을 보여, 적응 노이즈 유형을 초월한 일반화 능력을 입증했다.
• 레이블이 없는 타겟 도메인 데이터의 양이 증가할수록 성능이 단조롭게 향상되었으며, 더 많은 노이즈 있는 문장을 사용할수록 PESQ가 상승했다.
• 모델는 완전히 지도된 상한 모델에 매우 가까운 성능을 달성하여, 레이블이 없는 데이터가 도메인 간 차이를 크게 줄일 수 있음을 시사한다.
• 스펙트로그램의 시각적 분석을 통해 제안된 모델이 기준 모델보다 더 효과적으로 노이즈를 억제하는 것으로 확인되었으며, 특히 저SNR 조건에서 두드러졌다.