[논문 리뷰] TalkNet 2: Non-Autoregressive Depth-Wise Separable Convolutional Model for Speech Synthesis with Explicit Pitch and Duration Prediction

Stanislav Beliaev, Boris Ginsburg|arXiv (Cornell University)|2021. 04. 16.

Speech Recognition and Synthesis참고 문헌 28인용 수 5

한 줄 요약

TalkNet 2는 깊이 분리형 합성곱을 사용하여 그래프림의 지속 시간과 톤을 명시적으로 예측하는 비자기적, 완전히 합성곱 기반의 텍스트-to-스피치 모델을 제안한다. 이는 빠르고 정확하며 강건한 음성 합성 가능성을 제공하며, 상태기준 모델보다 약 2배 작고, 파라미터 수가 1320만 개에 불과하여 배치 크기가 1일 때 실시간 대비 132배 빠른 추론 속도를 달성한다. MOS는 4.08을 기록한다.

ABSTRACT

We propose TalkNet, a non-autoregressive convolutional neural model for speech synthesis with explicit pitch and duration prediction. The model consists of three feed-forward convolutional networks. The first network predicts grapheme durations. An input text is expanded by repeating each symbol according to the predicted duration. The second network predicts pitch value for every mel frame. The third network generates a mel-spectrogram from the expanded text conditioned on predicted pitch. All networks are based on 1D depth-wise separable convolutional architecture. The explicit duration prediction eliminates word skipping and repeating. The quality of the generated speech nearly matches the best auto-regressive models - TalkNet trained on the LJSpeech dataset got MOS 4.08. The model has only 13.2M parameters, almost 2x less than the present state-of-the-art text-to-speech models. The non-autoregressive architecture allows for fast training and inference. The small model size and fast inference make the TalkNet an attractive candidate for embedded speech synthesis.

연구 동기 및 목표

• 자기적 TTS 모델에서 발생하는 단어 생략 및 반복 문제를 해결하기 위해 어텐션 기반 정렬 방식을 명시적 지속 시간 예측 방식으로 대체한다.
• 멜스펙트로그램 생성 단계에서 자기적 생성을 제거함으로써 병렬 훈련 및 추론을 가능하게 하여 빠른 처리를 실현한다.
• 고품질 음성 합성 수준을 유지하면서도 모델 크기와 계산 비용을 줄인다.
• 주요 생성 과정에서 분리된 지속 시간 및 톤 등의 프로소디적 특징을 제어할 수 있도록 하여 제어 가능성 향상을 도모한다.
• 자원 제약이 있는 임베디드 장치에 적합한 경량이고 효율적인 TTS 시스템을 개발한다.

제안 방법

• 입력 텍스트에서 그래프림의 지속 시간을 예측하기 위해 1차원 깊이 분리형 합성곱 신경망을 사용하며, 어텐션 기반 정렬 방식을 대체한다.
• 예측된 지속 시간에 따라 각 그래프림을 반복하여 지속 시간 확장 시퀀스를 생성한다.
• 확장된 시퀀스의 각 프레임에 대해 톤 값을 예측하기 위해 두 번째 깊이 분리형 합성곱 신경망을 적용한다.
• 확장된 텍스트와 예측된 톤을 조건으로 하여 멜스펙트로그램을 생성하기 위해 세 번째 깊이 분리형 합성곱 신경망을 훈련한다.
• CTC 기반 ASR 모델에 Viterbi 디코딩을 적용하여 정확한 지표 정렬을 확보하고, 이를 지속 시간 예측기 훈련에 활용한다.
• 생성된 멜스펙트로그램에서 음성을 합성하기 위해 별도의 외부 볼커(예: WaveGlow 또는 HiFi-GAN)를 사용한다.

실험 결과

연구 질문

• RQ1 비자기적 TTS 모델에서 명시적 지속 시간 예측이 어텐션 메커니즘에 의존하지 않고도 단어 생략 및 반복 문제를 효과적으로 해결할 수 있는가?
• RQ2 완전히 합성곱 기반의 깊이 분리형 아키텍처가 타코트론 2와 같은 자기적 모델과 비교해 유사한 음성 품질을 달성하면서도 모델 크기를 줄일 수 있는가?
• RQ3 비자기적 TTS 모델의 추론 속도는 배치 크기에 따라 자동으로 어떻게 스케일링되는가? 자기적 기준 모델과 비교해 어떤가?
• RQ4 Viterbi 디코딩을 사용한 CTC 기반 정렬 추출 방법이 탐욕적 디코딩보다 더 정확한 지속 시간 감독을 제공할 수 있는가?
• RQ5 비자기적 TTS 시스템에서 모델 효율성(파라미터 수, 추론 속도)과 음성 품질 사이의 상충 관계는 어떠한가?

주요 결과

• HiFi-GAN 볼커와 함께 사용했을 때 TalkNet은 LJSpeech 데이터셋에서 평균 관점 평가(MOS) 점수 4.08을 기록했으며, 이는 타코트론 2(4.20)와 편향 없는 음성 품질을 가진 FastPitch(4.13)와 거의 유사한 성능을 보였다.
• 모델 파라미터 수는 1320만 개에 불과하며, FastSpeech(3010만 개)와 타코트론-2(2820만 개) 등 최신 기준 모델보다 약 2배 적다.
• V100 GPU에서 배치 크기가 1일 때 추론 속도는 실시간 대비 132배 빠르며, 배치 크기가 32일 경우 2531배 빠른 실시간 속도를 기록하여 뛰어난 확장성을 입증했다.
• 명시적 지속 시간 예측기의 정확도는 81%이며, 절반 이상의 클래스(95%)에서 1 프레임 이내의 절대 지속 시간 오차를 보였으며, 이는 단어 생략 및 반복을 크게 감소시켰다.
• 어려운 테스트 문장에 대해서도 모델은 단어 생략 및 반복을 완전히 제거했으며, 타코트론 2와 같은 자기적 모델과는 달리 이러한 문제를 야기하지 않았다.
• 8개의 V100 GPU를 탑재한 DGX-1 서버에서 전체 모델 훈련은 2시간 이내에 완료되었으며, 지속 시간 예측 훈련은 11분, 멜스펙트로그램 생성 훈련은 2시간 미만이었다.