[논문 리뷰] Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis

Eric Battenberg, Soroosh Mariooryad외 5명|arXiv (Cornell University)|2019. 06. 08.

Speech Recognition and Synthesis참고 문헌 24인용 수 43

한 줄 요약

Capacitron은 텍스트와 화자에 조건을 주어 변분 엔드투엔드 TTS의 다양한 전이 및 고품질 프라이어 샘플링을 가능하게 하는 임베딩 용량을 변분 TTS의 통합 프레임워크로 제시하며, 계층적 잠재가 충실도와 다양성을 제어한다.

ABSTRACT

Recent work has explored sequence-to-sequence latent variable models for expressive speech synthesis (supporting control and transfer of prosody and style), but has not presented a coherent framework for understanding the trade-offs between the competing methods. In this paper, we propose embedding capacity (the amount of information the embedding contains about the data) as a unified method of analyzing the behavior of latent variable models of speech, comparing existing heuristic (non-variational) methods to variational methods that are able to explicitly constrain capacity using an upper bound on representational mutual information. In our proposed model (Capacitron), we show that by adding conditional dependencies to the variational posterior such that it matches the form of the true posterior, the same model can be used for high-precision prosody transfer, text-agnostic style transfer, and generation of natural-sounding prior samples. For multi-speaker models, Capacitron is able to preserve target speaker identity during inter-speaker prosody transfer and when drawing samples from the latent prior. Lastly, we introduce a method for decomposing embedding capacity hierarchically across two sets of latents, allowing a portion of the latent variability to be specified and the remaining variability sampled from a learned prior. Audio examples are available on the web.

연구 동기 및 목표

• 잠재 변수 TTS 모델을 분석하기 위한 통일된 렌즈로서 표현적 상호 정보로의 임베딩 용량을 제시한다.
• KL 항이 임베딩 용량의 상한을 형성함을 보이고 원하는 용량을 목표로 제어하기 위해 라그랑주 승수로 조절할 수 있음을 보인다.
• 변분 후포를 텍스트와 화자에 조건화하는 것이 다중 작업 전이(운율 전이, 스타일 전이) 및 자연스러운 프라이어 샘플 생성을 가능하게 함을 보여준다.
• 고수준 및 저수준 가변성을 분리하고 제어된 전이와 샘플링을 가능하게 하기 위해 계층적 잠재 구조를 도입한다.

제안 방법

• 임베딩 용량을 KL(q(z|x)||p(z))에 의해 경계되는 상호 정보와 유사한 양으로 정의한다.
• 용량 제약 C를 갖는 라그랑주 목표 min_theta max_beta>=0를 사용하여 평균 임베딩 용량(R^avg)을 제한한다.
• 후포 예측기에 텍스트와 화자 정보를 주입하여 변분 후포를 실제 후포에 맞춘다.
• 고수준(z_H)와 저수준(z_L) 가변성을 분리하기 위해 용량 상한 C_H와 C_L를 갖는 계층적 잠재 스킴을 채택한다.
• 조건 의존성 여부에 관계없이 텍스트 간 동일 전이, 텍스트 간 스타일 전이, 화자 간 전이 및 프라이어 샘플링을 동일 텍스트로 비교 평가한다.
• 실험에서 고정 용량 설정으로 128차원 임베딩을 사용한다.

실험 결과

연구 질문

• RQ1 임베딩 용량을 운율/스타일 전이용으로 변분적 방법과 휴리스틱 TTS 방법을 비교하는 통합 지표로 사용할 수 있는가?
• RQ2 텍스트와 화자에 변분 후포를 조건화하는 것이 작업 간 고충실도 전이와 자연스러운 프라이어 샘플링을 가능하게 하는가?
• RQ3 계층적 잠재 분해가 전이 충실도와 샘플 다양성에 어떤 영향을 미치는가?
• RQ4 라그랑주 방식을 통한 고정 용량 경계가 단일 화자 및 다중 화자 TTS 전반에서 견고한 전이 및 샘플링을 보장할 수 있는가?

주요 결과

• 임베딩 용량 제어는 일관된 전이 동작을 가능하게 한다: 텍스트와 화자 조건부가 있는 더 높은 용량은 프라이어 샘플 품질을 해치지 않으면서 더 나은 전이를 이끈다.
• Var+Txt+Spk는 화자 간 전이가 더 강하고 대상 화자 신원을 ground truth에 더 가깝게 보존한다(SpkID 및 MOS 개선) compared to variants without speaker conditioning (SpkID and MOS improvements).
• 조건 의존성이 포함되면 프라이어를 통한 샘플링은 여전히 자연스러운 소리를 내며 가능하고, 계층적 잠재는 충실도와 샘플 다양성 사이의 균형을 가능하게 한다(C_H 및 C_L를 통한 조절).
• 화자 간 전이에서 Var+Txt+Spk는 전이 샘플에서 MOS 4.099 및 SpkID 95.8%를 달성하고, 프라이어 샘플 MOS 3.906 및 SpkID 94.9%를 보이며; 베이스라인은 MOS ~4.086 및 SpkID ~95.7%를 보이고(ground truth ~4.535 MOS, 96.9% SpkID).
• 계층적 잠재는 C_H를 증가시키면 기준 거리(MCD-DTW)가 감소하고, C_L를 증가시키면 샘플 간 변화가 커져 제어된 전이 리얼리즘을 가능하게 한다.