[논문 리뷰] Expressive TTS Training with Frame and Style Reconstruction Loss

Rui Liu, Berrak Şişman외 2명|arXiv (Cornell University)|2020. 08. 04.

Speech Recognition and Synthesis참고 문헌 90인용 수 20

한 줄 요약

이 논문은 문장 수준의 재구성 손실과 발화 수준의 스타일 재구성 손실을 통합하여, 음성 인식 특징을 사용하는 테이코트론 기반 음성 합성 시스템을 위한 새로운 학습 전략을 제안한다. 이 방법은 성능 분석 또는 런타임 스타일 제어 메커니즘 없이도 자연스럽고 표현력 있는 음성 합성을 향상시켜, 표준 테이코트론 및 GST-테이코트론 기준보다 뛰어난 성능을 달성한다.

ABSTRACT

We propose a novel training strategy for Tacotron-based text-to-speech (TTS) system to improve the expressiveness of speech. One of the key challenges in prosody modeling is the lack of reference that makes explicit modeling difficult. The proposed technique doesn't require prosody annotations from training data. It doesn't attempt to model prosody explicitly either, but rather encodes the association between input text and its prosody styles using a Tacotron-based TTS framework. Our proposed idea marks a departure from the style token paradigm where prosody is explicitly modeled by a bank of prosody embeddings. The proposed training strategy adopts a combination of two objective functions: 1) frame level reconstruction loss, that is calculated between the synthesized and target spectral features; 2) utterance level style reconstruction loss, that is calculated between the deep style features of synthesized and target speech. The proposed style reconstruction loss is formulated as a perceptual loss to ensure that utterance level speech style is taken into consideration during training. Experiments show that the proposed training strategy achieves remarkable performance and outperforms a state-of-the-art baseline in both naturalness and expressiveness. To our best knowledge, this is the first study to incorporate utterance level perceptual quality as a loss function into Tacotron training for improved expressiveness.

연구 동기 및 목표

• 표현력 있는 프로소디를 모델링하기 위해 명시적인 프로소디 분석이 필요로 하지 않는 신경 TTS에서의 과제를 해결하기 위해.
• 테이코트론 학습에 깊이 있는 스타일 재구성 손실을 통합하여 발화 수준의 음성 표현력을 향상시키기 위해.
• 추론 중 수동 또는 학습된 스타일 토큰 선택이 필요로 하지 않도록 하기 위해.
• 추가 메커니즘 없이도 텍스트에서 직접 프로소디 스타일링을 엔드 투 엔드로 학습하기 위해.
• 발화 수준의 청각 손실이 문장 수준 재구성보다 더 뛰어난 표현력 있는 음성 합성을 향상시킬 수 있음을 검증하기 위해.

제안 방법

• 이 방법은 이중 목표 학습 전략을 도입한다: 합성된 스펙트럼 특징과 목표 스펙트럼 특징 간의 문장 수준 재구성 손실.
• 사전 훈련된 음성 감정 인식(SER) 모델을 통해 추출한 깊이 있는 스타일 특징에 기반한 스타일 재구성 손실을 적용한다.
• 스타일 재구성 손실은 발화 수준의 프로소디 특징을 유지하기 위해 청각 손실로 정의된다.
• 결합된 손실 함수는 테이코트론 학습 중 최적화되어, 음성 및 표현적 콘텐츠의 공동 학습을 가능하게 한다.
• 청각 손실 계산을 위한 고수준 스타일 표현을 추출하기 위해 스타일 기술자 네트워크(SER 모델)를 사용한다.
• 이 접근법은 테이코트론에 적용되며, 표준 테이코트론 및 GST-테이코트론 기준과의 성능 비교를 위한 분석 연구가 수행된다.

실험 결과

연구 질문

• RQ1 성능 분석 없이도 발화 수준의 청각 손실이 테이코트론에서 표현력 있는 음성 합성을 향상시킬 수 있는가?
• RQ2 문장 수준과 스타일 수준의 재구성 손실을 결합하면 기존 방법보다 더 뛰어난 자연스러움과 표현력을 달성할 수 있는가?
• RQ3 제안된 방법이 런타임 스타일 제어 또는 스타일 토큰 선택이 필요 없이도 뛰어난 성능을 달성할 수 있는가?
• RQ4 수렴성과 음성 품질 측면에서 제안된 학습 전략은 GST-테이코트론과 어떻게 비교되는가?
• RQ5 사전 훈련된 SER 모델을 스타일 기술자로 사용할 경우 프로소디 모델링에 얼마나 기여하는가?

주요 결과

• 제안된 테이코트론-PL 모델은 목적 평가 및 주관적 평가에서 표준 테이코트론 및 GST-테이코트론(Tacotron-ST) 기준보다 모두 뛰어난 성능을 보였다.
• 주관적 MOS 테스트에서 테이코트론-PL은 테이코트론 및 테이코트론-ST보다 유의미하게 높은 점수를 기록하여 자연스러움과 표현력 향상을 입증했다.
• AB 선호도 테스트에서 테이코트론-PL은 모든 비교에서 100%의 선호도를 보였으며, 통계적으로 유의미한 결과를 얻었다.
• 테이코트론-ST보다 더 낮은 MCD(6.58), RMSE(1.14), FD(14.18)를 기록하여 더 나은 음성 품질을 입증했다.
• 훈련 중에 가장 우수한 수렴 경로를 보였으며, 안정적이고 효과적인 최적화가 이루어졌음을 시사했다.
• 성능 분석 또는 런타임 스타일 제어 메커니즘이 필요 없이도 표현력 있는 음성 합성을 성공적으로 학습했다.