[논문 리뷰] DeviceTTS: A Small-Footprint, Fast, Stable Network for On-Device Text-to-Speech

Zhiying Huang, Hao Li외 1명|arXiv (Cornell University)|2020. 10. 29.

Speech Recognition and Synthesis참고 문헌 17인용 수 8

한 줄 요약

DeviceTTS는 현장에 배포 가능한 가벼운, 빠르고 안정적인 엔드 투 엔드 텍스트 투 스피치 모델을 제안한다. 이는 정렬을 안정화하기 위해 지속 시간 예측기, 효율적인 모델링을 위해 DFSMN 블록, 저비용으로 품질을 향상시키기 위해 혼합 해상도 디코더를 사용한다. 이로 인해 높은 품질의 음성 합성과 함께 140만 파라미터와 0.099 GFLOPS의 낮은 계산 비용으로 최신 기술 수준에 근접한 음성 품질을 달성한다.

ABSTRACT

With the number of smart devices increasing, the demand for on-device text-to-speech (TTS) increases rapidly. In recent years, many prominent End-to-End TTS methods have been proposed, and have greatly improved the quality of synthesized speech. However, to ensure the qualified speech, most TTS systems depend on large and complex neural network models, and it's hard to deploy these TTS systems on-device. In this paper, a small-footprint, fast, stable network for on-device TTS is proposed, named as DeviceTTS. DeviceTTS makes use of a duration predictor as a bridge between encoder and decoder so as to avoid the problem of words skipping and repeating in Tacotron. As we all know, model size is a key factor for on-device TTS. For DeviceTTS, Deep Feedforward Sequential Memory Network (DFSMN) is used as the basic component. Moreover, to speed up inference, mix-resolution decoder is proposed for balance the inference speed and speech quality. Experiences are done with WORLD and LPCNet vocoder. Finally, with only 1.4 million model parameters and 0.099 GFLOPS, DeviceTTS achieves comparable performance with Tacotron and FastSpeech. As far as we know, the DeviceTTS can meet the needs of most of the devices in practical application.

연구 동기 및 목표

• 큰 모델 크기와 높은 추론 비용으로 인해 자원이 제한된 장치에 고품질 TTS를 구현하는 데 도전하는 문제를 해결한다.
• Tacotron의 단점인 단어 생략 및 반복 문제를 해결하기 위해 인코더와 디코더 사이의 다리를 놓는 지속 시간 예측기를 도입한다.
• 고품질의 음성 품질을 유지하면서도 모델 크기와 추론 지연 시간을 줄여 실용적인 현장 응용을 가능하게 한다.
• 새로운 혼합 해상도 디코더 아키텍처를 통해 속도와 품질 사이의 트레이드오프를 최적화한다.
• 작고 효율적인 모델이도 Tacotron과 FastSpeech와 같은 큰 모델과 유사한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 각 음소당 프레임 수를 예측하는 지속 시간 예측기를 사용하여 정렬을 안정화하고, 주로 어텐션 기반 모델에서 발생하는 단어 생략/반복 문제를 방지한다.
• 강력한 순차적 표현 학습 능력을 지닌 효율적이고 저파라미터 모델링을 위해 딥 피드포워드 순차 메모리 네트워크(DFSMN)를 핵심 구성 요소로 사용한다.
• 먼저 병렬로 다수의 음성 프레임을 예측하는 혼합 해상도 디코더를 도입하고, 이후 경량 순차적 네트워크를 통해 정밀한 품질 향상을 도모한다.
• 다중 프레임 예측을 적용하여 추론 속도를 향상시키고, 정밀화 단계를 통해 자연스러움을 유지한다.
• 재구성 손실과 지속 시간 예측 손실의 조합을 사용해 훈련함으로써 음성 특징과 정렬 품질을 동시에 최적화한다.
• 예측된 음성 특징에서 고해상도 음성 합성을 위한 WORLD 및 LPCNet 보코더를 사용하여 다양한 보코더 유형에서의 평가가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 작고 효율적인 TTS 모델이 큰 복잡한 모델인 Tacotron과 FastSpeech 수준의 음성 품질을 달성하면서도 현장에 배포 가능한가?
• RQ2 지속 시간 예측기는 엔드 투 엔드 TTS에서 정렬을 안정화하고 단어 생략 또는 반복을 방지하는 데 얼마나 효과적인가?
• RQ3 DFSMN 블록이 더 큰 어텐션 기반 또는 트랜스포머 구성 요소를 최소한의 파라미터로 대체하면서도 성능을 유지할 수 있는가?
• RQ4 혼합 해상도 디코더는 저발자국 모델에서 계산 비용을 크게 증가시키지 않고도 음성 품질을 향상시킬 수 있는가?
• RQ5 혼합 해상도 디코더의 순차적 정밀화 단계가 비순차적 대안 대비 품질과 지연 시간 측면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• LPCNet 보코더를 사용할 경우 DeviceTTS는 평균 평가 점수(MOS)가 4.255로 최신 기술 수준에 근접한 자연스러움을 보였다. WORLD 보코더를 사용할 경우 MOS는 4.193였다.
• 140만 파라미터와 0.099 GFLOPS의 낮은 계산 비용으로, Tacotron(1350만 파라미터, 0.491 GFLOPS)과 FastSpeech(3610만 파라미터, 8.58 GFLOPS)보다 훨씬 작고 빠르다.
• 제거 실험 결과 혼합 해상도 디코더를 제거하면 CMOS가 0.254 감소함을 확인하여, 이가 음성 품질 향상에 결정적인 역할을 한다는 것을 입증했다.
• 혼합 해상도 디코더의 순차적 정밀화 네트워크는 비순차적 대안 대비 첫 프레임 추론 비용을 60% 감소시켰고, MOS는 0.003의 미미한 하락만을 보였다.
• 긴 문장에서도 안정적인 성능을 유지하며, 새로운 문장 길이에 대한 일반화 능력에서 FastSpeech를 뛰어넘었다.
• 작은 크기와 낮은 계산 비용 덕분에 대부분의 소비자용 기기에서 배포 가능하며, 실용적인 현장 TTS 요구 조건을 충족시킨다.