[논문 리뷰] On Cross-Corpus Generalization of Deep Learning Based Speech Enhancement

Ashutosh Pandey, DeLiang Wang|arXiv (Cornell University)|2020. 02. 10.

Speech and Audio Processing참고 문헌 40인용 수 5

한 줄 요약

이 논문은 딥 러닝 기반 음성 강화에서 낮은 신호대기소음비(SNR) 조건에서의 낮은 코퍼스 간 일반화 성능을 저하시키는 주요 원인으로 채널 불일치를 규명한다. 이를 해결하기 위해 두 가지 핵심 기법을 제안한다: 다양한 코퍼스, 특히 커뮤니티 기반의 LibriAll 코퍼스를 활용한 훈련과 더 작은 STFT 프레임 이격(4 ms)을 적용하는 것으로, 이는 훈련되지 않은 코퍼스에서 성능을 크게 향상시키며, IEEE Male 코퍼스에서 -5 dB SNR 조건에서 STOI 향상 최대 8.1%를 기록한다.

ABSTRACT

In recent years, supervised approaches using deep neural networks (DNNs) have become the mainstream for speech enhancement. It has been established that DNNs generalize well to untrained noises and speakers if trained using a large number of noises and speakers. However, we find that DNNs fail to generalize to new speech corpora in low signal-to-noise ratio (SNR) conditions. In this work, we establish that the lack of generalization is mainly due to the channel mismatch, i.e. different recording conditions between the trained and untrained corpus. Additionally, we observe that traditional channel normalization techniques are not effective in improving cross-corpus generalization. Further, we evaluate publicly available datasets that are promising for generalization. We find one particular corpus to be significantly better than others. Finally, we find that using a smaller frame shift in short-time processing of speech can significantly improve cross-corpus generalization. The proposed techniques to address cross-corpus generalization include channel normalization, better training corpus, and smaller frame shift in short-time Fourier transform (STFT). These techniques together improve the objective intelligibility and quality scores on untrained corpora significantly.

연구 동기 및 목표

• 딥 러닝 기반 음성 강화 모델이 훈련되지 않은 음성 코퍼스로 일반화하지 못하는 이유를 조사한다. 특히 낮은 신호대기소음비(SNR) 조건에서의 원인을 중심으로 분석한다.
• 특히 낮은 SNR 영역에서의 낮은 코퍼스 간 일반화 성능의 근본 원인을 규명한다.
• 기존의 채널 정규화 기법(예: CMS, RASTA)이 코퍼스 간 일반화 성능 향상에 얼마나 효과적인지 평가한다.
• 공개된 데이터셋이 코퍼스 간 일반화 성능 향상에 얼마나 적합한지 평가한다.
• 새로운 기법을 제안하고 검증한다. 특히, LibriAll 코퍼스 사용과 STFT 프레임 이격 감소를 통한 다양한 기록 조건에 대한 강건성 향상 기법을 제안한다.

제안 방법

• 연구는 다양한 코퍼스(예: LibriSpeech, VoxCeleb, TIMIT, IEEE)에서 훈련한 딥 신경망(DNN) 모델을 평가하고, 훈련되지 않은 코퍼스에서의 일반화 성능을 검증한다.
• 채널 불일치 영향을 완화하기 위해 로그 스펙트럼 도메인에서 케프스트럼 평균 제거(CMS) 및 RASTA 필터링과 같은 채널 정규화 기법을 적용한다.
• 시간 해상도 향상과 모델 강건성 향상을 위해 단기 처리 파이프라인에 더 작은 STFT 프레임 이격(4 ms)을 도입한다.
• 모델 일반화 성능 향상을 위해 수정된 손실 함수를 사용하지만, 낮은 SNR 조건에서는 그 효과가 제한적이다.
• 다양한 음향 환경에서의 커뮤니티 기반 기록 자료를 바탕으로 유도된 LibriAll 코퍼스는 훈련 자료로 매우 우수한 성능을 보인다.
• 모델은 반향이 없는 데이터에서 훈련하고, 실제 실내 임펄스 응답(RIR)을 사용해 반향이 있는 노이즈 환경에서의 성능을 평가함으로써 강건성 여부를 검증한다.

실험 결과

연구 질문

• RQ1 왜 DNN 기반 음성 강화 모델은 훈련되지 않은 음성 코퍼스로 일반화하지 못하는가? 특히 낮은 SNR 수준에서의 원인은 무엇인가?
• RQ2 훈련 코퍼스와 테스트 코퍼스 간의 채널 불일치가 음성 강화에서 일반화 갭을 초래하는 데 얼마나 기여하는가?
• RQ3 기존의 채널 정규화 기법(예: CMS, RASTA)이 감독 기반 음성 강화에서 코퍼스 간 일반화 성능 향상에 얼마나 효과적인가?
• RQ4 공개된 음성 코퍼스 중에서 코퍼스 간 일반화 성능 향상에 가장 효과적인 것은 무엇이며, 그 이유는 무엇인가?
• RQ5 STFT 프레임 이격 감소가 코퍼스 간 일반화 성능 향상에 기여하는가? 그리고 코퍼스 선택 대비 성능 향상 측면에서 어떤가?

주요 결과

• 낮은 코퍼스 간 일반화 성능의 주요 원인은 훈련 및 테스트 코퍼스 간의 채널 불일치이며, 특히 낮은 SNR 조건에서 뚜렷하게 나타난다.
• 기존의 채널 정규화 기법(CMS 및 RASTA)은 훈련되지 않은 코퍼스에서의 성능 향상을 이끌지만, 낮은 SNR 조건에서는 제한적인 성능 향상을 기록한다.
• LibriAll 코퍼스를 사용해 훈련하면, -5 dB SNR 조건에서 IEEE Male 코퍼스에서 STOI가 8.1% 향상되고, IEEE Female 코퍼스에서는 5.3% 향상되며, VoxCeleb 등 다른 코퍼스보다 뚜렷한 성능 우월성을 보인다.
• STFT 프레임 이격를 4 ms로 감소시키면, -5 dB SNR 조건에서 TIMIT에서 STOI가 3.5% 향상되고, IEEE Male에서 1.8%, IEEE Female에서 3.5% 향상되며, 뚜렷한 성능 향상을 보인다.
• LibriAll 코퍼스와 4 ms 프레임 이격의 조합은 -5 dB SNR 조건에서 WSJ 코퍼스에서 STOI 70.8%를 기록하고, IEEE Female 코퍼스에서는 63.7%를 기록하며, 동일 코퍼스 훈련 성능(62.8% 및 65.3%)에 근접한 성능을 기록한다.
• 노이즈가 있는 반향 환경에서, LibriAll 코퍼스와 4 ms 프레임 이격를 사용한 모델은 최고의 성능을 기록하며, IEEE Female 코퍼스에서 STOI 70.3%와 PESQ 1.94를 기록하여 반향과 노이즈에 대한 강건성을 입증한다.