[논문 리뷰] MultiSpeech: Multi-Speaker Text to Speech with Transformer

Mingjian Chen, Xu Tan외 6명|arXiv (Cornell University)|2020. 06. 08.

Speech Recognition and Synthesis참고 문헌 18인용 수 30

한 줄 요약

MultiSpeech는 다이애고날 주의 제약, 음소 임베딩에 대한 인코더 층 정규화, 작은 디코더 프리넷 병목의 세 가지 기법으로 강건한 다중 화자 Transformer TTS를 도입하여 텍스트-음성 정렬 및 음성 품질을 향상시키며; 또한 빠른 다중 화자 FastSpeech 모델을 학습시키는 교사 역할을 한다.

ABSTRACT

Transformer-based text to speech (TTS) model (e.g., Transformer TTS~\cite{li2019neural}, FastSpeech~\cite{ren2019fastspeech}) has shown the advantages of training and inference efficiency over RNN-based model (e.g., Tacotron~\cite{shen2018natural}) due to its parallel computation in training and/or inference. However, the parallel computation increases the difficulty while learning the alignment between text and speech in Transformer, which is further magnified in the multi-speaker scenario with noisy data and diverse speakers, and hinders the applicability of Transformer for multi-speaker TTS. In this paper, we develop a robust and high-quality multi-speaker Transformer TTS system called MultiSpeech, with several specially designed components/techniques to improve text-to-speech alignment: 1) a diagonal constraint on the weight matrix of encoder-decoder attention in both training and inference; 2) layer normalization on phoneme embedding in encoder to better preserve position information; 3) a bottleneck in decoder pre-net to prevent copy between consecutive speech frames. Experiments on VCTK and LibriTTS multi-speaker datasets demonstrate the effectiveness of MultiSpeech: 1) it synthesizes more robust and better quality multi-speaker voice than naive Transformer based TTS; 2) with a MutiSpeech model as the teacher, we obtain a strong multi-speaker FastSpeech model with almost zero quality degradation while enjoying extremely fast inference speed.

연구 동기 및 목표

• 노이즈가 많고 다양한 화자 조건에서 다중 화자 Transformer TTS의 텍스트-음성 정렬을 개선한다.
• 합성 품질을 안정화하고 향상시키기 위한 아키텍처 및 학습 기법을 제안한다.
• 빠르고 확장 가능한 다중 화자 추론을 가능하게 하고 FastSpeech로의 지식 증류를 가능하게 한다.

제안 방법

• 단조롭고 대각선에 가까운 정렬을 촉진하기 위해 인코더-디코더 주의에 대각선 제약을 도입한다.
• 위치 임베딩을 추가하기 전에 음소 임베딩에 레이어 정규화를 적용하여 위치 정보를 보존한다.
• 인접 프레임에서의 복사를 방지하고 텍스트 기반 예측을 강제하기 위해 작은 디코더 프리넷 병목(예: 80-32-32-256)을 사용한다.
• 자기회귀 추론 중 어텐션 슬라이딩 윈도우를 도입하여 정렬 진행을 유지한다.
• MultiSpeech를 다중 화자 데이터셋(VCTK, LibriTTS)에서 트랜스포머 블록(각 각 4층, 히든 사이즈 256)으로 학습한다.
• 파형 합성을 위한 보코더로 WaveNet을 사용하고 MOS 기반 평가를 수행한다; 교사-학생 증류를 통해 FastSpeech로 확장한다.

Figure 1: The model structure of our proposed MultiSpeech. The green blocks are the newly added modules for multi-speaker TTS based on Transformer.

실험 결과

연구 질문

• RQ1 다이애고날 주의 제약이 다중 화자 Transformer TTS에서 정렬 학습을 향상시킬 수 있는가?
• RQ2 음소 임베딩에 레이어 정규화를 적용하면 위치 정보 및 정렬 품질이 향상되는가?
• RQ3 프리넷 병목이 프레임 복사를 방지하고 다중 화자 Transformer TTS에서 텍스트 주도 디코딩을 촉진하는가?
• RQ4 MultiSpeech가 품질 저하 없이 빠른 다중 화자 TTS(FastSpeech)의 효과적인 교사 역할을 할 수 있는가?

주요 결과

• MultiSpeech는 VCTK 및 LibriTTS에서 단순한 Transformer 기반 다중 화자 TTS보다 MOS가 높다.
• VCTK에서 MultiSpeech MOS = 3.65 (0.14), 대각 비율 r = 0.694; LibriTTS에서 MOS = 2.95 (0.14).
• 아블레이션 결과 대각 제약, 레이어 정규화, 혹은 프리넷 병목을 제거하면 MOS 및/또는 대각 비율이 감소한다; 이 세 가지를 모두 제거하면 MOS가 2.64 (0.35), r은 0.366으로 감소한다.
• 인코더 입력의 LN은 학습 가능한 가중치(LW) 및 기준값(0.506 및 0.637 respectively)보다 더 높은 r = 0.694의 대각 주의 비율을 제공한다.
• MultiSpeech를 교사로 사용하면 VCTK에서 다중 화자 FastSpeech 모델의 MOS가 3.53 (0.22)이고 GT 4.02 (0.09), FastSpeech 기준선 3.45 (0.13)과 비교해 훨씬 빠른 추론을 보인다.
• GT 멜 + 보코더에서의 MultiSpeech MOS가 GT에 근접한다.

Figure 2: (a) The illustration of diagonal constraint in attention, where the above figure has a small diagonal constraint loss and the below figure has a large diagonal constraint loss. (b) The model structure of the pre-net bottleneck in decoder.