[논문 리뷰] Multi-target Voice Conversion without Parallel Data by Adversarially Learning Disentangled Audio Representations

Ju-Chieh Chou, Cheng-chieh Yeh외 2명|arXiv (Cornell University)|2018. 04. 09.

Speech and Audio Processing참고 문헌 29인용 수 8

한 줄 요약

이 논문은 병렬 데이터가 없이 다중 타겟 음성 변환을 위한 단일 모델 기반 적대적 프레임워크를 제안한다. 조건부 오토인코더를 사용하여 언어적 내용과 발화자 신원을 분리하고, 적대적 훈련을 통해 이를 실현한다. 이 방법은 잔차 보정 네트워크를 사용하여 높은 품질의 날카운 음성 스펙트럼을 생성하며, 자연스러움과 발화자 유사도가 향상된다. 20명의 타겟 발화자에 대한 목적적 및 주관적 평가를 통해 검증되었다.

ABSTRACT

Recently, cycle-consistent adversarial network (Cycle-GAN) has been successfully applied to voice conversion to a different speaker without parallel data, although in those approaches an individual model is needed for each target speaker. In this paper, we propose an adversarial learning framework for voice conversion, with which a single model can be trained to convert the voice to many different speakers, all without parallel data, by separating the speaker characteristics from the linguistic content in speech signals. An autoencoder is first trained to extract speaker-independent latent representations and speaker embedding separately using another auxiliary speaker classifier to regularize the latent representation. The decoder then takes the speaker-independent latent representation and the target speaker embedding as the input to generate the voice of the target speaker with the linguistic content of the source utterance. The quality of decoder output is further improved by patching with the residual signal produced by another pair of generator and discriminator. A target speaker set size of 20 was tested in the preliminary experiments, and very good voice quality was obtained. Conventional voice conversion metrics are reported. We also show that the speaker information has been properly reduced from the latent representations.

연구 동기 및 목표

• 병렬 훈련 데이터가 필요 없이 단일 모델을 사용해 다수의 타겟 발화자로의 음성 변환을 가능하게 한다.
• 강력한 음성 변환을 위해 음성 표현에서 언어적 내용과 발화자 신원을 분리한다.
• 잔차 신호 보정을 통해 과도하게 부드러워지는 현상을 줄이고 스펙트럼의 날카움을 향상시켜 음성 품질을 개선한다.
• 잠재 표현에서의 분리 효과를 강화하기 위해 발화자 분류기와 함께 적대적 훈련을 수행함을 검증한다.
• 기존 비지도 학습 방법과 비교해 목적적 지표와 주관적 인간 평가 모두에서 뛰어난 성능을 입증한다.

제안 방법

• 입력 음성을 발화자 독립 잠재 표현으로 인코딩하기 위해 조건부 오토인코더를 훈련하며, 디코더는 타겟 발화자 임베딩을 사용해 원본 스펙트로그램을 재구성한다.
• 잠재 표현에서 발화자 특징을 제거하기 위해 인코더와 함께 적대적으로 훈련된 보조 발화자 분류기를 도입한다.
• 2단계에서 잔차 신호를 생성하기 위해 제2의 생성자-판별자 쌍을 도입하여, 디코더 출력의 스펙트럼 날카움과 청취자 품질을 향상시킨다.
• 잔차 신호는 디코더 출력에 원소별로 더해지며, 판별자는 타겟 발화자 특징을 유지하기 위해 보조 발화자 분류기를 함께 훈련한다.
• 훈련은 두 단계로 진행되며, 첫 번째 단계에서는 오토인코더와 분류기를 사전 훈련하고, 두 번째 단계에서는 잔차 생성자와 판별자를 5:1 비율로 함께 훈련하여 학습 안정성을 확보한다.
• 재구성 손실로 평균 절대 오차(MAE)를 사용하고, Adam 옵timizer를 사용하며 학습률은 0.0001, betas는 (0.5, 0.9)로 설정한다.

실험 결과

연구 질문

• RQ1 병렬 훈련 데이터가 없이도 단일 음성 변환 모델이 다수의 타겟 발화자로 일반화 가능한가?
• RQ2 발화자 분류기를 활용한 적대적 훈련이 잠재 표현에서 발화자 신원을 언어적 내용으로부터 얼마나 효과적으로 분리할 수 있는가?
• RQ3 잔차 신호 보정이 변환된 음성의 청취 품질과 스펙트럼 날카움에 실제로 유의미한 향상을 가져오는가?
• RQ4 병렬 데이터 없이 Cycle-GAN-VC와 비교했을 때 제안된 방법은 자연스러움과 발화자 유사도 측면에서 어떻게 성능을 내는가?
• RQ5 음성 변환에서 스펙트로그램의 전반적 분산이 청취자 품질의 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• 모든 평가 방법 중에서 제안된 방법이 가장 높은 전반적 분산(0.0394 for M2M, 0.0401 for M2F, 0.0389 for F2M, 0.0333 for F2F)을 기록하여 스펙트럼의 날카움이 뛰어나다는 것을 시사한다.
• 주관적 평가 결과, 2단계 잔차 보정이 자연스러움과 발화자 유사도 양면에서 유의미하게 향상되었으며, 1단계만 수행한 경우보다 뛰어난 성능을 보였다.
• 병렬 데이터를 사용하지 않음에도 불구하고, Cycle-GAN-VC와 비교해 자연스러움과 발화자 유사도 측면에서 유사하거나 뛰어난 성능을 달성했다.
• 잠재 표현에서의 발화자 인식 정확도는 분류기가 없을 경우 0.916에서, 분류기를 도입한 후 0.451로 감소하여 발화자 신원의 효과적인 분리가 이루어졌음을 확인했다.
• 스펙트로그램 시각화와 인간 선호도 테스트를 통해 남성-여성, 동성 간 쌍 모두에서 높은 청취 품질로 음성 변환을 성공적으로 수행했다.
• 추론 시 가변 길이 입력을 지원하여 순환 기반 모듈을 포함한 실용적 구현이 가능하다.