[논문 리뷰] Data Efficient Voice Cloning from Noisy Samples with Domain Adversarial Training

Jian Cong, Shan Yang외 3명|arXiv (Cornell University)|2020. 08. 10.

Speech Recognition and Synthesis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 음성 합성에서 노이즈가 섞인 타겟 스피커 샘플을 이용한 데이터 효율적인 음성 클로닝을 가능하게 하기 위해 도메인 적대적 훈련(DAT)을 제안한다. 음성 인식 특징에서 노이즈를 스피커 정체성과 분리함으로써, 기준 모델 및 외부 음성 정제 기술을 사용하는 모델에 비해 더 높은 음성 품질과 스피커 유사도를 달성한다. 이는 단지 몇 개의 노이즈가 섞인 샘플만으로도 가능하다.

ABSTRACT

Data efficient voice cloning aims at synthesizing target speaker's voice with only a few enrollment samples at hand. To this end, speaker adaptation and speaker encoding are two typical methods based on base model trained from multiple speakers. The former uses a small set of target speaker data to transfer the multi-speaker model to target speaker's voice through direct model update, while in the latter, only a few seconds of target speaker's audio directly goes through an extra speaker encoding model along with the multi-speaker model to synthesize target speaker's voice without model update. Nevertheless, the two methods need clean target speaker data. However, the samples provided by user may inevitably contain acoustic noise in real applications. It's still challenging to generating target voice with noisy data. In this paper, we study the data efficient voice cloning problem from noisy samples under the sequence-to-sequence based TTS paradigm. Specifically, we introduce domain adversarial training (DAT) to speaker adaptation and speaker encoding, which aims to disentangle noise from speech-noise mixture. Experiments show that for both speaker adaptation and encoding, the proposed approaches can consistently synthesize clean speech from noisy speaker samples, apparently outperforming the method adopting state-of-the-art speech enhancement module.

연구 동기 및 목표

• 기존의 seq2seq TTS 시스템에서 타겟 스피커 샘플이 노이즈가 섞여 있을 경우 성능이 저하되는 문제를 해결하기 위해, 노이즈가 있는 샘플에서 데이터 효율적인 음성 클로닝을 수행하는 것.
• 청결한 데이터나 외부 정제 모듈을 요구하지 않고도, 노이즈에 강인한 스피커 적응 및 스피커 인코딩 방법을 향상시키기 위한 것.
• 도메인 적대적 훈련을 사용해 잠재 표현에서 노이즈와 스피커 정체성을 분리함으로써 안정적이고 고품질의 음성 합성을 보장하는 것.
• 노이즈 조건 하에서 소수의 샘플을 사용한 적응 및 단일 샘플 인코딩 시나리오에서 제안된 방법의 효과성을 평가하는 것.

제안 방법

• 시퀀스-투-시퀀스 TTS 모델의 디코더에 도메인 적대적 훈련(DAT)을 도입하여, 도메인 분류기가 청소음과 노이즈가 섞인 음성 입력을 구분하도록 훈련한다.
• 스피커 적응 프레임워크를 수정하여 디코더에 도메인 분류기와 노이즈 제어 태그를 추가함으로써, 미세조정 중에 노이즈에 영향을 받지 않는 스피커 표현을 학습할 수 있도록 한다.
• 스피커 인코딩 프레임워크를 확장하여 도메인 분류기와 외부 스피커 인코더를 도입함으로써, 입력 오디오의 노이즈에 영향을 받지 않는 스피커 임베딩을 유지하도록 한다.
• 역전파 중 기울기 반전을 사용하여 도메인 불변성을 강제함으로써, 모델이 노이즈에 의존하지 않는 스피커 특징을 학습하도록 유도한다.
• 청결한 샘플과 노이즈가 섞인 스피커 샘플의 혼합 데이터셋으로 TTS 모델을 훈련시키며, 도메인 분류기가 노이즈에 의존하는 특징을 학습하는 것을 방지하도록 보상한다.
• t-SNE 시각화를 통해 제안된 방법이 동일한 스피커의 노이즈가 섞인 샘플과 청소음 샘플을 밀접하게 군집화함을 확인함으로써, 효과적인 노이즈 분리가 이루어졌음을 입증한다.

실험 결과

연구 질문

• RQ1 소수의 노이즈가 섞인 타겟 스피커 샘플만으로 미세조정할 때, 도메인 적대적 훈련이 스피커 적응 성능을 향상시킬 수 있는가?
• RQ2 단일 노이즈가 섞인 샘플을 입력으로 사용할 경우, 스피커 인코딩이 높은 스피커 유사도와 자연스러움을 유지할 수 있는가?
• RQ3 제안된 방법이 음성 클로닝 전처리 단계로 사용되었을 때, 최신 기술의 음성 정제 모듈을 능가하는가?
• RQ4 도메인 적대적 훈련이 잠재 표현에서 노이즈와 스피커 정체성을 얼마나 효과적으로 분리하는가?
• RQ5 제안된 방법은 테스트 조건에서 다양한 성별과 노이즈 수준에 대해 강인한가?

주요 결과

• 제안된 DAT 기반 스피커 적응 모델은 노이즈가 섞인 여성 샘플에서 유사도에 대해 평균 평가 점수(MOS) 3.65, 자연스러움에 대해 3.36을 기록하였으며, 이는 해당 데이터에서 수렴하지 못한 기준 모델보다 뛰어난 성능을 보였다.
• 단일 샘플 스피커 인코딩의 경우, 제안된 방법은 노이즈가 섞인 남성 샘플에서 0.88의 유사도 점수를 기록하였고, 기준 모델은 정제된 입력을 사용했을 때 0.76이었으며, 이는 훨씬 뛰어난 강인성을 보여주었다.
• 도메인 적대적 훈련을 사용한 모델은 청결한, 노이즈가 섞인, 정제된 테스트 세트에서 일관된 성능을 유지하였고, 기준 모델은 적응 및 인코딩 설정 모두에서 노이즈가 섞인 샘플에 대해 적응에 실패하였다.
• t-SNE 시각화 결과, 제안된 방법은 동일한 스피커의 노이즈가 섞인 샘플과 청결한 샘플을 밀접하게 군집화한 반면, 기준 모델은 별개의 군집을 보여주어 노이즈 영향을 받는 임베딩임을 확인하였다.
• 음성 클로닝에서, 제안된 방법은 정제 기반 기준 모델보다 낮은 MCD(Mel-cepstral distortion)를 기록하였으며, 여성 샘플의 경우 노이즈가 섞인 데이터에서 4.18을 기록하였고, 정제 기반 접근법은 4.72였다.
• 스피커 인코딩의 경우, 제안된 방법은 노이즈가 섞인 남성 샘플에서 유사도에 대해 MOS 3.34를 기록하였으며, 기준 모델의 정제된 데이터에서의 2.96보다 유의미하게 높았다.