[논문 리뷰] DiscreTalk: Text-to-Speech as a Machine Translation Problem

Tomoki Hayashi, Shinji Watanabe|arXiv (Cornell University)|2020. 05. 12.

Natural Language Processing Techniques참고 문헌 32인용 수 21

한 줄 요약

이 논문은 원시 음성 웨이브폼을 이산 기호로 변환하는 비자기적 VQ-VAE를 사용하여 TTS를 신경 기계 번역(NMT) 문제로 재정의하는 새로운 엔드 투 엔드 텍스트 투 음성 시스템인 DiscreTalk을 제안한다. 이 기법은 텍스트에서 이산 기호 시퀀스를 예측하기 위해 Transformer-NMT 모델을 사용하며, 자연스러움이 VQ-VAE 재구성 수준과 유사하고, 전통적인 자기적 모델 대비 초모수 민감도가 낮고 과도한 부드러움을 줄이는 데 성공한다.

ABSTRACT

This paper proposes a new end-to-end text-to-speech (E2E-TTS) model based on neural machine translation (NMT). The proposed model consists of two components; a non-autoregressive vector quantized variational autoencoder (VQ-VAE) model and an autoregressive Transformer-NMT model. The VQ-VAE model learns a mapping function from a speech waveform into a sequence of discrete symbols, and then the Transformer-NMT model is trained to estimate this discrete symbol sequence from a given input text. Since the VQ-VAE model can learn such a mapping in a fully-data-driven manner, we do not need to consider hyperparameters of the feature extraction required in the conventional E2E-TTS models. Thanks to the use of discrete symbols, we can use various techniques developed in NMT and automatic speech recognition (ASR) such as beam search, subword units, and fusions with a language model. Furthermore, we can avoid an over smoothing problem of predicted features, which is one of the common issues in TTS. The experimental evaluation with the JSUT corpus shows that the proposed method outperforms the conventional Transformer-TTS model with a non-autoregressive neural vocoder in naturalness, achieving the performance comparable to the reconstruction of the VQ-VAE model.

연구 동기 및 목표

• 수작업으로 설계된 음성 특징을 제거한 완전한 엔드 투 엔드 텍스트 투 음성 시스템을 개발하는 것.
• 자기적 TTS 모델에서 흔히 발생하는 과도한 부드러움 문제를 해결하는 것.
• 비자기적 모델을 통해 NMT 및 ASR 기법(예: 빔 서치, 서브워드 유닛, 언어 모델링)을 활용하기 위해 이산 기호 시퀀스를 활용하는 것.
• 이산 기호 기반 TTS가 VQ-VAE 재구성 품질에 도달할 수 있는지 평가하는 것.
• 이산 기호 해상도(다운샘플링 인자)와 음성 발화 품질 사이의 트레이드오프를 조사하는 것.

제안 방법

• 원시 음성 웨이브폼을 이산 기호 시퀀스로 매핑하기 위해 비자기적 GAN 기반 VQ-VAE 모델을 훈련시켜 완전히 데이터 기반의 표현을 학습한다.
• VQ-VAE는 연속적인 음성을 이산 토큰으로 임bedding하기 위해 벡터 양자화 메커니즘을 사용하며, 정밀한 재구성을 가능하게 한다.
• 입력 텍스트에서 이산 기호 시퀀스를 예측하기 위해 Transformer-NMT 모델을 훈련시켜 TTS를 시퀀스에서 시퀀스로의 번역 작업으로 간주한다.
• 이산 기호 시퀀스에 서브워드 유닛(예: 바이트 페어 인코딩)을 적용하여 일반화 성능을 향상시키며, 특히 작은 다운샘플링 인자에서 효과적이다.
• 언어 모델 융합(VQ-LM)은 얕은 융합을 통해 성능 향상을 탐색하였으며, 비번역된 음성 데이터 기반 별도의 LSTM 기반 모델을 훈련시켰다.
• JSUT 코퍼스를 사용하여 MOS 및 자동 평가 지표(CER, TER)를 통해 시스템을 평가하였으며, 기준 모델 및 재구성 조건과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 원시 음성의 VQ-VAE 기반 이산 표현이 수작업 특징 없이 고품질 엔드 투 엔드 TTS를 가능하게 할 수 있는가?
• RQ2 TTS를 기계 번역 문제로 재정의하는 것이 기존 자기적 모델 대비 자연스러움 향상과 과도한 부드러움 감소에 기여하는가?
• RQ3 다운샘플링 인자(DSF)의 선택이 기호 해상도와 음성 품질 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 서브워드 유닛과 언어 모델 융합이 제한된 데이터에서 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 VQ-VAE 재구성 수준의 자연스러움을 달성할 수 있는가? 이는 거의 최적의 성능임을 시사한다.

주요 결과

• 제안된 DiscreTalk 모델은 Parallel WaveGAN을 사용한 기존 Transformer-TTS보다 자연스러움에서 뛰어나며, DSF128 및 서브워드 유닛을 사용할 경우 MOS 3.93을 기록했다.
• DSF128와 서브워드 유닛을 사용한 모델은 MOS 3.93을 기록하여 기준 모델(3.48)을 크게 앞서며 재구성 조건(4.32)에 가까워졌다.
• 작은 다운샘플링 인자(DSF128)에서 서브워드 유닛이 특히 효과적이었으며, 원시 기호 시퀀스 대비 품질 저하를 줄였다.
• 얕은 융합을 통한 VQ-LM 사용은 성능 향상을 이끌지 못했으며, 데이터 부족과 NMT 및 VQ-LM 모델 간의 공유 학습 데이터로 인해 그럴 가능성이 높다.
• 작은 DSF(128)는 더 나은 재구성 품질을 가져왔지만 NMT 학습을 더 어렵게 했으며, 이는 해상도와 학습 안정성 사이의 트레이드오프를 시사한다.
• 합성 성능와 재구성 성능 간 격차가 기존 E2E-TTS 모델보다 작았으며, 이는 VQ-VAE가 성능의 강력한 상한선을 설정하고 있음을 시사한다.