[논문 리뷰] Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder

Kei Akuzawa, Yusuke Iwasawa외 1명|arXiv (Cornell University)|2018. 04. 06.

Speech Recognition and Synthesis참고 문헌 24인용 수 14

한 줄 요약

이 논문은 표현적 음성 합성의 성능을 향상시키기 위해 변동형 자동차오더(Variational Autoencoder, VAE)를 자기회귀적 VoiceLoop 모델과 통합한 새로운 프레임워크인 VAE-Loop를 제안한다. 이 방법은 표시된 표현 데이터가 없이도 음성의 전반적 특성(예: 화자 신원, 발화 스타일)을 모델링할 수 있도록 하며, 분리된 잠재 공간을 학습함으로써 음성 표현력에 대한 비지도 제어와 함께 음성 품질을 향상시킨다. 특히 잠재 prior의 분산을 제약함으로써 VCTK에서 지도 기반 기준과 유사한 MOS 점수를 달성하고, Blizzard2012에서의 안정성을 향상시켰다.

ABSTRACT

Recent advances in neural autoregressive models have improve the performance of speech synthesis (SS). However, as they lack the ability to model global characteristics of speech (such as speaker individualities or speaking styles), particularly when these characteristics have not been labeled, making neural autoregressive SS systems more expressive is still an open issue. In this paper, we propose to combine VoiceLoop, an autoregressive SS model, with Variational Autoencoder (VAE). This approach, unlike traditional autoregressive SS systems, uses VAE to model the global characteristics explicitly, enabling the expressiveness of the synthesized speech to be controlled in an unsupervised manner. Experiments using the VCTK and Blizzard2012 datasets show the VAE helps VoiceLoop to generate higher quality speech and to control the expressions in its synthesized speech by incorporating global characteristics into the speech generating process.

연구 동기 및 목표

• 표시된 표현 데이터에 의존하지 않고 자기회귀적 음성 합성 모델의 표현력을 향상시키는 데 도전하는 것.
• 종합적인 음성 합성에서 화자 신원, 성별, 발화 스타일과 같은 전반적 음성 특성을 비지도로 모델링하는 것.
• VAE를 통해 전반적 특성의 잠재 표현을 통합함으로써 자기회귀적 모델의 음성 품질과 강건성을 향상시키는 것.
• VAE에서 학습된 잠재 변수를 사용해 다양한 표현 스타일 간의 제어 및 보간을 가능하게 하는 것.
• 실제 데이터셋인 VCTK와 Blizzard2012를 활용해 제로샷 및 준지도 설정에서 제안된 방법의 효과성을 검증하는 것.

제안 방법

• 이 방법은 자기회귀적 음성 합성 모델인 VoiceLoop와 변동형 자동차오더(VAE)를 결합하여 전반적 음성 특성을 분리된 잠재 공간에서 모델링한다.
• VAE는 원시 음성에서 잠재 변수의 사후분포를 학습함으로써 화자 신원 및 억양과 같은 전반적 특성을 압축된 연속적 표현으로 인코딩한다.
• 추론 과정에서 잠재 변수 z는 p(z) = N(0, σ²I)의 사전분포에서 샘플링되며, σ를 변화시키거나 z 벡터 간의 보간을 통해 표현 특성에 대한 제어가 가능하다.
• VoiceLoop는 샘플된 z를 조건부 컨텍스트로 사용하여 음성 특성의 자기회귀적 생성을 유도함으로써 스타일 인식 기반의 합성 구현한다.
• 모델는 재구성 손실(MSE)과 VAE의 KL 발산을 조합한 공동 손실을 사용해 엔드 투 엔드로 훈련되며, 이는 품질과 분리성 모두를 보장한다.
• 이 방법은 잠재 표현 간의 보간을 통해 중간 표현 특성을 가진 음성을 생성할 수 있으며, 예를 들어 주파수나 감정 톤의 변화를 구현한다.

실험 결과

연구 질문

• RQ1 VAE가 표현적 음성 합성에서 전반적 음성 특성을 비지도 방식으로 효과적으로 모델링할 수 있는가?
• RQ2 표시된 표현 데이터 없이 VAE로 학습된 잠재 변수를 통합함으로써 자기회귀적 음성 합성의 품질과 안정성이 향상되는가?
• RQ3 VAE에서 학습된 잠재 공간이 다양한 발화 스타일이나 화자 신원 간의 제어 및 보간에 사용될 수 있는가?
• RQ4 잠재 변수의 사전분포의 분산이 합성 음성의 이해 가능성과 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 표현적 음성 합성에서 지도 기반 모델의 성능을 얼마나 잘 따라하거나 초월할 수 있는가?

주요 결과

• VCTK 데이터셋에서 VAE-Loop는 평균 관점 점수(MOS) 3.25 ± 0.29를 기록하여 화자 레이블이 있는 VoiceLoop와 동일한 성능를 달성했고, 레이블이 없는 기준 모델보다 뛰어난 성능를 보였다.
• Blizzard2012 데이터셋에서 사전분포의 분산을 줄임(σ = 0.7)으로 인해 MOS가 2.89 ± 0.32로 향상되었으며, 기준 모델을 초월하고 이해할 수 없는 음성 생성 비율도 감소시켰다.
• 두 개의 z 벡터 간의 잠재 변수 보간은 중간 F0 경로를 생성하여, 모델이 다양한 발화 스타일이나 화자 특성 간에 부드럽게 보간할 수 있음을 입증했다.
• 레이블가 없는 환경에서 VAE-Loop 모델은 기준 모델인 VoiceLoop보다 더 높은 품질의 음성을 생성했으며, 이는 VAE를 통해 학습된 전반적 특성이 자기회귀적 생성 과정을 향상시킨다는 것을 시사한다.
• 특히 사전분포의 분산을 제약함으로써 이해할 수 없는 출력(예: 숨소리 같은 잡음 또는 반복되는 음소)의 발생 빈도가 감소했다.
• 다양한 z 값에 대응하는 F0 경로는 뚜렷한 음높이 패턴을 보였으며, 예를 들어 높은 음높이의 여성스러운 목소리와 낮은 음높이의 남성스러운 목소리 패턴을 구분함으로써, 잠재 공간이 표현적 특성을 효과적으로 분리하고 있음을 확인했다.