[논문 리뷰] Parallel WaveNet conditioned on VAE latent vectors

Jonas Rohnke, Thomas Merritt외 5명|arXiv (Cornell University)|2020. 12. 17.

Speech Recognition and Synthesis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 예측된 멜스펙트로그램에서 음성 합성 품질을 향상시키기 위해 사전 훈련된 VAE에서 유도된 잠재 벡터로 Parallel WaveNet 신경 음성합성기 모델을 조건화하는 방법을 제안한다. 훈련 중에 문장 수준의 VAE 잠재 벡터를 사용함으로써 모델은 더 자연스러운 음성을 보다 잘 재구성하도록 학습하게 되며, 추론 시 지연 시간을 추가하지 않고 통계적으로 유의미한 품질 향상을 달성한다. 이는 추론 시 동일한 고정된 평균 벡터를 사용할 수 있기 때문이다.

ABSTRACT

Recently the state-of-the-art text-to-speech synthesis systems have shifted to a two-model approach: a sequence-to-sequence model to predict a representation of speech (typically mel-spectrograms), followed by a 'neural vocoder' model which produces the time-domain speech waveform from this intermediate speech representation. This approach is capable of synthesizing speech that is confusable with natural speech recordings. However, the inference speed of neural vocoder approaches represents a major obstacle for deploying this technology for commercial applications. Parallel WaveNet is one approach which has been developed to address this issue, trading off some synthesis quality for significantly faster inference speed. In this paper we investigate the use of a sentence-level conditioning vector to improve the signal quality of a Parallel WaveNet neural vocoder. We condition the neural vocoder with the latent vector from a pre-trained VAE component of a Tacotron 2-style sequence-to-sequence model. With this, we are able to significantly improve the quality of vocoded speech.

연구 동기 및 목표

• 예측된 멜스펙트로그램에서 음성 합성 품질을 향상시키기 위해, 예측 오차로 인해 자연스러운 음성과 다를 수 있는 멜스펙트로그램을 사용할 때 신호 품질을 개선한다.
• 실시간 상용 TTS 응용 프로그램을 고려할 때 추론 속도와 음성 품질 사이의 상충 관계를 해결한다.
• 전역 조건부 조건화 방식으로 VAE 잠재 벡터를 사용하여 예측된 스펙트로그램과 자연스러운 스펙트로그램 간의 격차를 메울 수 있는지 탐색한다.
• 추론 시 조건부 벡터 계산을 추론 시간과 분리함으로써 추가 지연 없이 고품질 추론을 가능하게 한다.

제안 방법

• Tacotron 2 스타일의 시스템에서 사전 훈련된 VAE 인코더로부터 추출한 문장 수준의 잠재 벡터로 Parallel WaveNet 신경 음성합성기 모델을 조건화한다.
• 선생-학생 지식 정복 프레임워크를 사용한다: 전체 순차적 WaveNet을 선생 모델로 훈련한 후, Inverse Autoregressive Flows (IAFs)를 사용해 학생 모델로 출력 분포를 정복한다. 이를 통해 병렬 추론이 가능해진다.
• 학생 모델을 멜스펙트로그램과 VAE 잠재 벡터 양쪽에 조건화된 IAF 애핀 변환 매개변수를 예측하도록 훈련함으로써, 스펙트로그램과 전역 콘텐츠 표현을 함께 모델링할 수 있도록 한다.
• 훈련 중에 음성 모델의 참조 인코더로부터 VAE 잠재 벡터를 추출하여, 음성합성기 모델이 더 자연스러운 음성 웨이브폼으로 향하도록 도와주는 추가 조건 신호로 사용한다.
• 추론 시 동적 VAE 벡터 계산을 훈련 분포의 고정된 평균 벡터로 대체함으로써, 추가 지연 없이 높은 품질을 유지한다.
• PCA 시각화와 MUSHRA 테스트를 통해 다양한 잠재 벡터가 합성 품질에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 예측된 멜스펙트로그램에서 음성 합성할 때 VAE 잠재 벡터로 Parallel WaveNet 음성합성기 모델을 조건화하면 음성 품질이 유의미하게 향상되는가?
• RQ2 추론 시 사용하는 잠재 벡터의 선택이 품질에 영향을 미치는가? 아니면 훈련 분포 내에 있는 고정된 대표 벡터(예: 훈련 분포의 평균)를 사용해도 성능 저하가 발생하지 않는가?
• RQ3 잠재 벡터가 훈련 분포 외부에 있을 경우 모델은 어떻게 되는가? 안정성이 떨어지는가?
• RQ4 이 조건화 방법은 다양한 화자와 스타일을 일반화하는 유니버설 음성합성기 모델에 적용 가능한가?
• RQ5 VAE 컴ponent의 사전 훈련이 반드시 필요한가? 아니면 전역 표현은 음성합성기와 함께 공동으로 학습될 수 있는가?

주요 결과

• VAE 잠재 벡터로 Parallel WaveNet 음성합성기 모델을 조건화함으로써 MUSHRA 점수에서 통계적으로 유의미한 향상이 이루어졌으며, 기준 모델 대비 1~1.5점의 향상이 있었다.
• 기준 모델과 VAE 조건부 시스템 간의 t-검정 p-값은 0.05 이하였으며, 이는 향상이 통계적으로 유의미하다는 것을 확인한다.
• 다른 잠재 벡터로 조건화된 시스템 간의 MUSHRA 점수에 유의미한 차이가 없었으며(p > 0.05), 이는 추론 시 사용하는 특정 벡터가 훈련 분포 내에 있으면서도 중요하지 않다는 것을 의미한다.
• 훈련 분포 외부에 있는 잠재 벡터로 조건화했을 경우 모델은 오직 잡음만 생성했으며, 이는 모델이 분포 외부 입력에 민감함을 보임을 시사한다.
• 고정된 훈련 분포 평균 벡터를 사용함으로써 추론 지연 없이도 향상된 합성 품질을 달성했다. 이는 추론 시 동적 VAE 벡터 계산을 생략할 수 있기 때문이다.
• 결과는 VAE 잠재 벡터가 모델 출력을 자연스러운 음성 공간에 더 잘 맞추는 전역 사전 확률 역할을 하며, 특히 표현력 있는 목소리의 경우 더 자연스러운 음성 재구성에 도움이 된다고 시사한다.