[논문 리뷰] StyleTTS: A Style-Based Generative Model for Natural and Diverse Text-to-Speech Synthesis

Yinghao Aaron Li, Cong Han외 1명|arXiv (Cornell University)|2022. 05. 30.

Speech Recognition and Synthesis인용 수 16

한 줄 요약

StyleTTS는 참조 음성에서 유연한 스타일 통합을 위한 AdaIN 기반 기법과 새로운 이식 가능한 단조적 어레인지어(TMA)를 사용하여 자연스럽고 다양한 텍스트-to-음성 합성용 스타일 기반 생성 모델을 제안한다. 이는 명시적인 억양 레이블 없이도 제로샷 스타일 전이와 강력하고 빠른 병렬 추론을 가능하게 하여 음성 자연스러움과 발화자 유사도 측면에서 최신 기준 성능을 달성한다.

ABSTRACT

Text-to-Speech (TTS) has recently seen great progress in synthesizing high-quality speech owing to the rapid development of parallel TTS systems, but producing speech with naturalistic prosodic variations, speaking styles and emotional tones remains challenging. Moreover, since duration and speech are generated separately, parallel TTS models still have problems finding the best monotonic alignments that are crucial for naturalistic speech synthesis. Here, we propose StyleTTS, a style-based generative model for parallel TTS that can synthesize diverse speech with natural prosody from a reference speech utterance. With novel Transferable Monotonic Aligner (TMA) and duration-invariant data augmentation schemes, our method significantly outperforms state-of-the-art models on both single and multi-speaker datasets in subjective tests of speech naturalness and speaker similarity. Through self-supervised learning of the speaking styles, our model can synthesize speech with the same prosodic and emotional tone as any given reference speech without the need for explicitly labeling these categories.

연구 동기 및 목표

• 억양과 정서적 다양성이 있는 표현력 있고 자연스러우며 다양한 음성 합성을 생성하는 데 도전하는 것, 특히 억양과 정서 변화가 있는 경우.
• 기존 병렬 TTS 모델이 단조로운 어레인지어와 스타일 분리 문제를 겪는 데서 비롯된 한계를 극복하는 것.
• 정서나 억양에 대한 명시적 레이블 없이도 제로샷 발화자 적응과 스타일 전이를 가능하게 하는 것.
• 이식 학습과 지속시간에 무관한 데이터 증강을 통해 어레인지어의 강건성과 억양 모델링을 향상시키는 것.
• 참조 음성에서 추출한 스타일 벡터를 활용한 적응형 인스턴스 정규화(AdaIN)를 통한 일반화된 발화 스타일 통합을 통해 일대다 음성 합성 구현

제안 방법

• 사전 학습된 텍스트 어레인지어를 TTS 데이터에 대해 미세조정하는 이식 가능한 단조적 어레인지어(TMA)를 도입하여 하이브리드 연속-불연속 주의 메커니즘을 사용해 어레인지어 정확도를 향상시킨다.
• 모델이 지속시간 예측의 열악한 결과에 강건하도록 하기 위해 지속시간에 무관한 데이터 증강 기법을 적용하여 억양 모델링 성능을 향상시킨다.
• 참조 음성에서 추출한 스타일 벡터로 디코더와 예측기의 조건을 설정하기 위해 AdaIN을 사용하여 피치, 에너지, 발화 속도를 포함한 풍부한 스타일 전이를 가능하게 한다.
• 명시적 레이블 없이도 참조 음성의 정서적 및 억양 톤을 반영할 수 있도록 자기지도 학습 기반의 스타일 표현 학습을 적용한다.
• 두 단계로 모델을 훈련한다: 첫 번째 단계는 스타일, 피치, 에너지, 음소, 어레인지어를 사용한 멜스펙트로그램 재구성; 두 번째 단계는 텍스트에서 피치, 에너지, 어레인지어를 종합적으로 예측하는 엔드 투 엔드 공동 예측.
• 사전 학습된 구성 요소(예: 텍스트 어레인지어, 피치 추출기)를 활용한 이식 학습을 통해 작은 TTS 데이터셋에서의 과적합을 완화한다.

실험 결과

연구 질문

• RQ1 이식 가능한 단조적 어레인지어는 외부 어레인지어에 의존하지 않고도 비자율 TTS에서 어레인지어 품질을 향상시킬 수 있는가?
• RQ2 지속시간에 무관한 데이터 증강 기법은 지속시간 예측 오류에 대한 강건성과 억양 모델링 성능을 향상시키는가?
• RQ3 참조 음성에서 유도된 AdaIN 기반 스타일 통합은 정서나 억양에 대한 명시적 레이블 없이도 효과적으로 억양 및 정서적 특성을 전이할 수 있는가?
• RQ4 StyleTTS는 얼마나 높은 수준의 제로샷 발화자 적응과 다양한 스타일 전이(다양한 발화자 및 발화 스타일 간)를 달성할 수 있는가?
• RQ5 잔차 특징, 정규화 유형, 스타일 연결 방식 등의 아키텍처 선택이 음성 자연스러움과 스타일 상관관계에 어떤 영향을 미치는가?

주요 결과

• TMA는 외부 어레인지어보다 음성 품질을 크게 향상시켰으며, 100% 하드 어레인지어 대비 +0.26 MOS 향상 효과를 보였고, 100% 연속 주의 모델에서 관찰된 과적합 현상도 피했다.
• 사전 학습된 텍스트 어레인지어를 제거하면 MOS가 -0.39 감소하여 작은 TTS 데이터셋에서 과적합을 줄이는 데 이식 학습의 효과를 입증한다.
• 지속시간에 무관한 데이터 증강 기법은 억양 모델링 성능 향상에 기여하며, 이 기법을 제거하면 성능 저하가 명백하게 관찰된다.
• AdaIN을 단순 연결 또는 인스턴스 정규화로 대체할 경우 스타일 상관관계가 20% 이상 감소하고 자연스러움이 떨어지며, 이는 AdaIN이 스타일 전이에 있어 열등한 대안임을 확인한다.
• 판별기 제거 시 청취자 평가 기반 음질이 급격히 떨어지며, 이는 음성 품질 향상에 대해 적대적 훈련의 중요성을 강조한다.
• 주관적 평가에서 StyleTTS는 높은 발화자 유사도와 자연스러움을 확보했으며, 단일 및 다중 발화자 데이터셋 모두에서 베이스라인 성능을 초월하는 MOS 점수를 기록했다.