[논문 리뷰] Noise Robust TTS for Low Resource Speakers using Pre-trained Model and Speech Enhancement

Dongyang Dai, Li Chen외 6명|arXiv (Cornell University)|2020. 05. 26.

Speech Recognition and Synthesis참고 문헌 24인용 수 8

한 줄 요약

이 논문은 저자원 말하기 데이터에서 소음에 강인한 텍스트-음성 합성(TTS) 프레임워크를 제안한다. 이는 화자 임베딩과 멜스펙트로그램 노이즈 제거 마스크를 조건부 입력으로 사용하여 화자 및 노이즈 특성을 별도로 모델링한다. 다중 화자 정제된 데이터와 노이즈가 섞인 데이터로 사전 훈련한 후, 저품질 신규 화자에 적응하여 고품질 정제된 음성으로 합성할 수 있으며, 주관적 평가에서 보다 낮은 품질의 데이터로 미세조정한 기준 모델보다 평균 0.115점의 평균 관점 점수(MOS) 향상을 보였다.

ABSTRACT

With the popularity of deep neural network, speech synthesis task has achieved significant improvements based on the end-to-end encoder-decoder framework in the recent days. More and more applications relying on speech synthesis technology have been widely used in our daily life. Robust speech synthesis model depends on high quality and customized data which needs lots of collecting efforts. It is worth investigating how to take advantage of low-quality and low resource voice data which can be easily obtained from the Internet for usage of synthesizing personalized voice. In this paper, the proposed end-to-end speech synthesis model uses both speaker embedding and noise representation as conditional inputs to model speaker and noise information respectively. Firstly, the speech synthesis model is pre-trained with both multi-speaker clean data and noisy augmented data; then the pre-trained model is adapted on noisy low-resource new speaker data; finally, by setting the clean speech condition, the model can synthesize the new speaker's clean voice. Experimental results show that the speech generated by the proposed approach has better subjective evaluation results than the method directly fine-tuning pre-trained multi-speaker speech synthesis model with denoised new speaker data.

연구 동기 및 목표

• 인터넷에서 흔히 볼 수 있는 저품질, 저자원 음성 데이터로부터 고품질 개인화 TTS 모델을 훈련하는 데 도전하는 것.
• 각 신규 화자에 대해 고해상도 데이터가 필요 없이도 소음 환경에서의 TTS 시스템 강인성을 향상시키는 것.
• 조건부 모델링을 통해 화자 및 노이즈 특성을 분리하여 노이즈가 섞인 저자원 화자 데이터로부터 정제된 자연스러운 음성으로 종단 간 합성하는 것.
• 고정 길이 노이즈 벡터의 한계를 극복하기 위해 복잡하고 비정상적인 노이즈를 더 정확하게 표현하기 위해 가변 길이 멜스펙트로그램 노이즈 제거 마스크를 사용하는 것.

제안 방법

• TTS 모델은 화자 임베딩과 멜스펙트로그램 노이즈 제거 마스크를 조건부 입력으로 사용하여 화자 신원과 노이즈 특성을 분리한다.
• 노이즈 제거 마스크는 멜스펙트로그램 도메인에서 정제된 음성 에너지와 총 에너지의 비율로 계산되며, 주파수 빈도별 노이즈 양을 나타낸다.
• 모델은 정제된 다중 화자 데이터와 노이즈가 섞이고 증강된 다중 화자 데이터의 조합을 사용해 사전 훈련하여 강인한 표현을 학습한다.
• 적응 단계에서는 신규 화자 데이터를 사용해 모델을 미세조정하며, 화자 임베딩과 해당 노이즈 마스크를 입력으로 사용한다.
• 추론 시에는 정제된 마스크(모든 요소 = 1)를 사용하여 동일한 화자 임베딩에서 정제된 음성을 생성한다.
• 화자 임베딩는 사전 훈련된 화자 인식 모델에서 추출되어 화자 신원 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 멜스펙트로그램 노이즈 제거 마스크는 저SNR 음성에서 시간에 따라 변화하는 노이즈를 효과적으로 표현할 수 있는가?
• RQ2 화자 임베딩과 노이즈 표현을 동시에 조건부 입력으로 사용할 경우, 저자원 노이즈가 섞인 화자 데이터에서의 음성 합성 품질이 향상되는가?
• RQ3 제안된 사전 훈련 및 적응 전략은 정제된 데이터로 직접 미세조정한 전략과 비교해 음성 품질과 화자 유사성 측면에서 어떻게 다른가?
• RQ4 가변 길이 노이즈 마스크는 복잡하고 비정상적인 노이즈를 모델링하는 데 있어 고정 길이 노이즈 벡터에 비해 어느 정도 우수한가?

주요 결과

• 제안된 방법은 기준 방법 대비 평균 0.115점의 MOS 향상을 기록했으며, 네 명의 저자원 화자에 대해 평균 관점 점수는 3.424점으로 기록되었다. 기준 방법은 3.313점이었다.
• 음성 강화 모델은 -5 dB SNR에서 SI-SDR 값이 3.787 dB, 0 dB에서 7.154 dB, 5 dB에서 8.694 dB를 기록하여 효과적인 노이즈 제거를 보였다.
• 합성된 음성과 훈련 데이터 간 화자 임베딩의 코사인 유사도는 높은 수준을 유지했으며(평균 0.865), 노이즈와 저자원 조건에도 불구하고 화자 신원이 유지됨을 나타냈다.
• 멜스펙트로그램 노이즈 제거 마스크의 사용으로 인해 마스크가 노이즈가 섞인 상태에서 정제된 상태로 변화함에 따라 음성 합성 과정에서 노이즈가 섞인 상태에서 정제된 상태로 부드럽게 전이되는 것을 확인했다.
• 주관적 평가 결과, 제안된 방법은 정제된 데이터에서 정보 손실로 인해 발생하는 음성 불안정성을 줄이는 것으로 확인되었으며, 이는 기준 모델에 영향을 주었다.
• 단 몇 분 분량의 저품질 노이즈가 섞인 오디오만으로도 새로운 화자에 대해 정제된 음성을 성공적으로 합성하여 저자원 데이터에 대한 강력한 일반화 능력을 입증했다.