[논문 리뷰] Controllable and Lossless Non-Autoregressive End-to-End Text-to-Speech

Zhengxi Liu, Qiao Tian외 6명|arXiv (Cornell University)|2022. 07. 13.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 48 kHz에서 손실 없는 고음질 음성 합성과 제어 가능한 억양을 지원하면서도 단일 스테이지, 비자기적(end-to-end) 텍스트-to-음성 모델인 CLONE을 제안한다. 이는 음소 수준의 억양 모델링을 위해 정규화 흐름을 사용하는 변동형 오토인코더를 도입하고, 참조 음성 특징을 사용하여 중간 표현을 감독하는 이중 평행 오토인코더를 통해 자동 회귀 생성 없이도 최신 기술 수준의 음성 품질과 강력한 억양 제어 성능을 달성한다.

ABSTRACT

Some recent studies have demonstrated the feasibility of single-stage neural text-to-speech, which does not need to generate mel-spectrograms but generates the raw waveforms directly from the text. Single-stage text-to-speech often faces two problems: a) the one-to-many mapping problem due to multiple speech variations and b) insufficiency of high frequency reconstruction due to the lack of supervision of ground-truth acoustic features during training. To solve the a) problem and generate more expressive speech, we propose a novel phoneme-level prosody modeling method based on a variational autoencoder with normalizing flows to model underlying prosodic information in speech. We also use the prosody predictor to support end-to-end expressive speech synthesis. Furthermore, we propose the dual parallel autoencoder to introduce supervision of the ground-truth acoustic features during training to solve the b) problem enabling our model to generate high-quality speech. We compare the synthesis quality with state-of-the-art text-to-speech systems on an internal expressive English dataset. Both qualitative and quantitative evaluations demonstrate the superiority and robustness of our method for lossless speech generation while also showing a strong capability in prosody modeling.

연구 동기 및 목표

• 단일 스테이지 TTS에서의 일대다 매핑 문제를 해결하기 위해 음성의 주파수와 에너지 외의 일반적인 억양 변동성을 모델링한다.
• 훈련 중 참조 음성 특징을 통해 감독을 도입하여 단일 스테이지 TTS에서 고주파수 재구성을 향상시킨다.
• 비자기적, 단일 스테이지 아키텍처 내에서 종단 간(end-to-end), 제어 가능하고 손실 없는 음성 합성을 가능하게 한다.
• 분리 가능하고 학습 가능한 억양 잠재 변수를 통해 표현력 있는 음성 합성을 지원한다.

제안 방법

• 복잡하고 고분산된 억양 정보를 포착하기 위해 정규화 흐름을 사용하는 변동형 오토인코더를 활용해 음소 수준의 억양 잠재 변수를 모델링한다.
• 억양 예측기(Prosody predictor)는 입력 음소에서 억양 잠재 변수의 사전 분포를 추론하여 종단 간 훈련을 가능하게 한다.
• 이중 평행 오토인코더(DPA)는 음성 특징용 및 후행 파형용 두 개의 병렬 인코더와 공유된 파형 디코더를 사용하여 학습된 표현을 참조 선형 스펙트로그램으로 정규화한다.
• 수렴 속도를 가속화하고 생성된 파형의 고주파 성분을 향상시키기 위해 다밴드 디스크림ิน레이터(MBD)를 도입한다.
• 부드러운 어텐션 기반 방법보다 더 높은 정확도를 보이는 하드 어wall리언스 억양 추출기(HAPE)를 도입한다.

실험 결과

연구 질문

• RQ1 중간 표현에 의존하지 않고도 비자기적, 단일 스테이지 TTS 모델이 48 kHz에서 손실 없는 음성 합성을 달성할 수 있는가?
• RQ2 통합적이고 암묵적인 억양 모델링 접근법이 주파수와 에너지 외의 일반적인 억양 변동성을 분리하고 제어할 수 있는가?
• RQ3 이중 오토인코더 아키텍처를 통해 참조 음성 특징을 감독으로 도입함으로써 종단 간 TTS에서 고주파수 재구성 성능이 크게 향상되는가?
• RQ4 제안된 방법이 제어 가능한 억양 전이와 정확한 억양 재구성 기능을 제공하는가?

주요 결과

• CLONE는 내부 표현력 있는 영어 데이터셋에서 최신 기술 수준의 음성 품질을 달성했으며, 객관적 평가와 주관적 평가 모두에서 기존의 양단계 및 단일 스테이지 TTS 모델을 초월한다.
• 이중 평행 오토인코더(DPA)는 스펙트로그램 비교 및 MOS 평가를 통해 고주파수 과도하게 매끄럽게 만드는 현상을 효과적으로 줄이고 고주파 성분의 세부 정보를 향상시킨다.
• 다밴드 디스크림ิน레이터(MBD)는 모델 수렴 속도를 크게 가속화하고 특히 고주파 성분에서 파형 품질을 향상시킨다.
• 억양 전이 실험 결과, CLONE는 참조 화자에서 목표 화자로 억양을 정확히 전이할 수 있었으며, 종단 간 합성 대비 목소리 주파수 MAE는 47.9% 감소하고 에너지 MAE는 11.0% 감소했다.
• 후행 인코더를 통한 억양 재구성은 높은 정밀도를 보였으며, 목소리 주파수 및 에너지 곡선이 참조 오디오와 매우 유사하게 일치하여 정확한 억양 추출을 확인했다.
• 하드 어워리언스 억양 추출기(HAPE)는 부드러운 어텐션 기반 방법(SAPE)보다 더 낮은 MAE를 기록하여 억양 표현 학습의 정확도 향상을 입증했다.