[논문 리뷰] Using previous acoustic context to improve Text-to-Speech synthesis

Pilar Oplustil Gallegos, Simon King|arXiv (Cornell University)|2020. 12. 07.

Speech Recognition and Synthesis참고 문헌 7인용 수 9

한 줄 요약

이 논문은 글로벌 스타일 토큰 기반 음성 맥락 인코더(Global Style Token-based Acoustic Context Encoder, ACE)를 사용하여 이전 발화에서 유도된 음성 맥락을 활용함으로써 자연스러운 음성 생성을 향상시키는 맥락 인식 Text-to-Speech(TTS) 모델을 제안한다. 모델은 표준 Tacotron 2 손실과 현재 발화의 임베딩을 예측하는 회귀 과제를 조합한 다중 과제 손실로 훈련되며, 주관적 평가에서 표준 Tacotron 2 기준 모델에 비해 자연스러움이 크게 향상된다.

ABSTRACT

Many speech synthesis datasets, especially those derived from audiobooks, naturally comprise sequences of utterances. Nevertheless, such data are commonly treated as individual, unordered utterances both when training a model and at inference time. This discards important prosodic phenomena above the utterance level. In this paper, we leverage the sequential nature of the data using an acoustic context encoder that produces an embedding of the previous utterance audio. This is input to the decoder in a Tacotron 2 model. The embedding is also used for a secondary task, providing additional supervision. We compare two secondary tasks: predicting the ordering of utterance pairs, and predicting the embedding of the current utterance audio. Results show that the relation between consecutive utterances is informative: our proposed model significantly improves naturalness over a Tacotron 2 baseline.

연구 동기 및 목표

• 오디오북과 같은 독백에서 존재하는 장기적 억양 맥락을 버리고 발화를 독립된 단위로 취급하는 한계를 해결하기 위해.
• 이전 음성에서 유도된 음성 맥락을 활용하여 연속된 발화 간의 억양 의존성을 모델링함으로써 TTS의 자연스러움을 향상시키기 위해.
• 음성 맥락 기반 보조 과제를 통해 일반화 능력과 합성 음성의 억양 현실감을 향상시키는지 탐색하기 위해.
• 합성 음성이 순차적 문장에서 청취될 때 더 자연스럽게 들리는지 평가하기 위해.

제안 방법

• 이전 발화의 오디오를 압축된 표현으로 변환하기 위해 글로벌 스타일 토큰(GST) 기반의 음성 맥락 인코더(ACE)를 사용한다.
• 훈련 및 추론 중에 Tacotron 2 디코더에 추가적인 맥락 벡터로 ACE 임베딩을 통합한다.
• 표준 Tacotron 2 손실과 현재 발화의 임베딩을 이전 발화에서 예측하는 보조 회귀 손실을 조합한 다중 과제 학습 설정을 구현한다.
• 두 가지 보조 과제를 평가한다: 현재 발화의 임베딩 예측(Next Task)과 발화 쌍의 순서 예측(Pair Order).
• TTS 손실과 보조 과제 손실의 합을 통해 모델을 엔드 투 엔드로 훈련함으로써 네트워크가 맥락 기반 억양 패턴을 학습할 수 있도록 한다.
• 추론 시, 이전에 합성된 발화의 오디오를 사용해 ACE가 맥락 임베딩을 생성함으로써 인과적이고 맥락 인식 가능한 생성이 가능하다.

실험 결과

연구 질문

• RQ1 이전 발화의 음성 맥락을 모델링하면 TTS가 생성하는 음성의 자연스러움이 향상되는가?
• RQ2 이전 발화에서 현재 발화의 임베딩을 예측하는 회귀 기반 보조 과제를 통해 학습하면, 다른 과제들에 비해 더 나은 억양 모델링이 이루어지는가?
• RQ3 추론 과정에서 모델이 맥락을 얼마나 실제로 사용하는가, 혹은 이를 무시하는가?
• RQ4 합성 음성이 순차적 문장에서 청취될 때 더 자연스럽게 들리는가?

주요 결과

• 주관적 평가에서 제안된 모델은 표준 Tacotron 2 기준 모델에 비해 음성의 자연스러움이 뚜렷이 향상되었으며, 청취자들이 더 높은 품질과 더 자연스러운 억양을 인식했다.
• 이전 발화에서 현재 발화의 임베딩을 예측하는 'Next Task' 모델이 'Pair Order' 과제를 초월하여 자연스러움 측면에서 가장 우수한 성능을 보였다.
• 정성적 분석 결과, 올바른 음성 맥락을 사용해 훈련된 모델은 입력 맥락에 따라 다양한 음높이 변화, 지속 시간, 정지 구간을 생성함으로써 합성 과정에서 맥락을 적극적으로 활용하고 있음을 보여주었다.
• 반면, 무작위(관련 없는) 맥락을 사용해 훈련된 모델는 입력에 관계없이 동일한 출력을 생성했으며, 이는 'Next Task' 모델이 제공된 맥락을 의미 있게 학습하고 있음을 확인시켜 주었다.
• 결과적으로, 음성 맥락을 통해 장기적 억양 패턴을 모델링함으로써 고립된 발화의 품질 향상뿐 아니라 순차적 음성에서의 맥락 기반 자연스러움 향상도 가능함을 시사한다.