[논문 리뷰] Deep Voice 3: 2000-Speaker Neural Text-to-Speech

Wei Ping, Kainan Peng외 6명|arXiv (Cornell University)|2017. 10. 20.

Speech Recognition and Synthesis참고 문헌 14인용 수 232

한 줄 요약

딥 버즈 3는 완전 컨볼루션형이며 어텐션 기반인 신경 음성 합성 시스템으로, 이전 방법보다 10배 빠르게 학습하면서도 최신 기술 수준의 자연스러움을 달성한다. 이 시스템은 2,000명 이상의 화자로부터 800시간 이상의 오디오를 처리할 수 있으며, 단일 GPU에서 일일 1,000만 건의 쿼리에 대한 추론을 지원한다.

ABSTRACT

We present Deep Voice 3, a fully-convolutional attention-based neural text-to-speech (TTS) system. Deep Voice 3 matches state-of-the-art neural speech synthesis systems in naturalness while training ten times faster. We scale Deep Voice 3 to data set sizes unprecedented for TTS, training on more than eight hundred hours of audio from over two thousand speakers. In addition, we identify common error modes of attention-based speech synthesis networks, demonstrate how to mitigate them, and compare several different waveform synthesis methods. We also describe how to scale inference to ten million queries per day on one single-GPU server.

연구 동기 및 목표

• 완전 컨볼루션형이며 어텐션 기반인 신경 TTS 시스템을 개발하여 최신 기술 수준의 자연스러움을 구현한다.
• TTS 학습을 이전에 없던 대규모 데이터셋 크기로 확장하여 2,000명 이상의 화자로부터 800시간 이상의 오디오를 초월한다.
• 어텐션 기반 음성 합성 네트워크에서 흔히 발생하는 오류 유형을 식별하고 체계적으로 완화한다.
• 대규모 TTS 시스템에서 다양한 웨이브폼 합성 방법을 비교하고 평가한다.
• 단일 GPU에서의 고처리량 추론을 가능하게 하여, 생산 환경에서의 확장성을 확보한다.

제안 방법

• 순환층이 없는 완전 컨볼루션형 아키텍처를 사용하여 더 빠른 학습과 추론을 가능하게 한다.
• 자기회귀적 생성 중 텍스트 입력과 음향 출력 간의 정렬을 위해 어텐션 메커니즘을 활용한다.
• 다양한 방법을 평가하기 위해 가역성 있는 보코더를 사용하여 웨이브폼 합성을 수행한다.
• 2,000명 이상의 화자와 800시간 이상의 오디오로 구성된 대규모 데이터셋에서 엔드 투 엔드로 모델을 학습시킨다.
• 순환 모델 대비 계산 병목 현상을 줄이는 아키텍처 선택을 통해 학습 효율성을 향상시킨다.
• 추론 성능을 최적화하여, 모델 정밀화와 효율적인 추론 파이프라인을 통해 단일 GPU에서 일일 1,000만 건의 쿼리 처리를 달성한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션형 TTS 아키텍처는 순환 구조 없이도 이전 시스템보다 10배 빠르게 학습하면서 최신 기술 수준의 자연스러움을 달성할 수 있는가?
• RQ2 어텐션 기반 TTS에서 주로 발생하는 오류 유형은 무엇이며, 이를 어떻게 시스템적으로 완화할 수 있는가?
• RQ3 대규모 데이터셋에 스케일링할 경우, 다양한 웨이브폼 합성 방법의 품질과 효율성은 어떻게 비교되는가?
• RQ4 800시간 이상의 오디오와 2,000명 이상의 화자로 확장해도 성능 저하 없이 TTS 모델을 확장할 수 있는가?
• RQ5 생산 환경에서 단일 GPU 배포 시 얼마나 높은 추론 처리량을 달성할 수 있는가?

주요 결과

• 딥 버즈 3는 순환 구조 없이도 완전 컨볼루션형 아키텍처를 사용하면서도 최신 기술 수준의 자연스러움을 달성한다.
• 순환 모델 대비 아키텍처 효율성 덕분에 이전 어텐션 기반 TTS 모델보다 10배 빠른 학습 속도를 기록한다.
• 어텐션 오차 정렬 및 드문 단어에 대한 주의 집중 실패와 같은 어텐션 기반 TTS에서 흔히 발생하는 오류 유형을 아키텍처 및 학습 수정을 통해 식별하고 완화한다.
• 다양한 웨이브폼 합성 방법을 비교한 결과, 가역성 있는 보코더가 엔드 투 엔드 학습과 호환되며 뛰어난 품질을 보였다.
• 단일 GPU에서 일일 1,000만 건의 쿼리 추론을 지원하여 높은 확장성을 입증한다.
• 2,000명 이상의 화자와 800시간 이상의 오디오로 확장해도 성능 저하 없이 안정적인 성능을 유지함으로써 아키텍처의 강건성을 확인한다.