[논문 리뷰] A Survey on Neural Speech Synthesis

Xu Tan, Tao Qin외 2명|arXiv (Cornell University)|2021. 06. 29.

Speech Recognition and Synthesis참고 문헌 427인용 수 183

한 줄 요약

이 논문은 뉴럴 텍스트-투-스피치(TTS)에 대한 포괄적 고찰을 제공하며, 핵심 구성요소(텍스트 분석, 음향 모델, 보코더)와 고급 주제를 상세히 다루고, 데이터셋, 구현, 미래 방향을 개략적으로 제시한다.

ABSTRACT

Text to speech (TTS), or speech synthesis, which aims to synthesize intelligible and natural speech given text, is a hot research topic in speech, language, and machine learning communities and has broad applications in the industry. As the development of deep learning and artificial intelligence, neural network-based TTS has significantly improved the quality of synthesized speech in recent years. In this paper, we conduct a comprehensive survey on neural TTS, aiming to provide a good understanding of current research and future trends. We focus on the key components in neural TTS, including text analysis, acoustic models and vocoders, and several advanced topics, including fast TTS, low-resource TTS, robust TTS, expressive TTS, and adaptive TTS, etc. We further summarize resources related to TTS (e.g., datasets, opensource implementations) and discuss future research directions. This survey can serve both academic researchers and industry practitioners working on TTS.

연구 동기 및 목표

• 뉴럴 TTS와 그 핵심 구성요소(텍스트 분석, 음향 모델, 보코더)의 역사와 현 상태를 요약한다.
• 엔드투엔드 진행 과정을 개요하고 시스템이 완전히 엔드투엔드인지 아니면 더 모듈식인지를 논의한다.
• 빠른 TTS, 저자원 TTS, 강인한 TTS, 표현력 있는 TTS, 적응형 TTS 등과 같은 고급 주제들을 논의한다.
• 연구자와 실무자를 위한 데이터셋, 오픈소스 구현, 실용 자원의 목록을 제공한다.
• 향후 연구 방향과 산업계에 미칠 잠재적 영향을 강조한다.

제안 방법

• 텍스트에서 파형으로의 데이터 흐름(문자/음소에서 언어적/음향 특성으로, 다시 파형으로) 기반의 뉴럴 TTS 분류 체계를 제안한다.
• 대표 모델과 역사적 흐름을 바탕으로 각 핵심 구성요소(텍스트 분석, 음향 모델, 보코더)를 검토한다.
• 완전한 엔드투엔드 TTS 접근법을 요약하고 이를 모듈식 뉴럴 TTS 파이프라인과 비교한다.
• 빠르고 비자회귀 생성, 저자원 학습, 강인성, 표현력 및 적응형 TTS에서의 고급 주제와 실용적 도전과제들을 논의한다.
• 복제 및 배치를 돕기 위해 관련 데이터셋과 오픈소스 자원을 수집하고 참고한다.

실험 결과

연구 질문

• RQ1 뉴럴 TTS 시스템의主要 구성요소와 데이터 흐름 패턴은 무엇인가?
• RQ2 뉴럴 TTS에서 텍스트 분석, 음향 모델, 보코더의 발전은 어떻게 이루어졌는가?
• RQ3 완전한 엔드투엔드 TTS와 모듈식 아키텍처의 주요 발전과 도전과제는 무엇인가?
• RQ4 현재 및 미래 TTS 연구를 형성하는 고급 주제들(빠름, 저자원, 강인성, 표현력, 적응성)은 무엇인가?
• RQ5 연구자와 실무자에게 이용 가능한 자원(데이터셋, 구현)은 무엇인가?

주요 결과

• 뉴럴 TTS는 전통적인 파라메트릭 시스템에 비해 자연스러움과 명료성을 높이고 전처리 비용을 줄여준다.
• 텍스트 분석, 음향 모델, 보코더 간의 뉴럴 TTS 구성요소와 데이터 흐름에 대한 명확한 분류 체계가 문헌을 정리한다.
• 엔드투엔드 TTS 접근은 수작업으로 만든 언어적/음향 특징의 필요성을 줄이지만 새로운 모델링 과제를 제시한다.
• 빠르고 비자회귀 생성, 저자원 학습, 강인성, 표현력, 화자/적응 가능성과 같은 고급 주제들이 적극 연구되고 있다.
• 본 조사는 연구 및 산업 채택을 지원하기 위해 데이터셋과 오픈소스 구현을 통합한다.
• 이 연구는 이론, 데이터셋, 배포에 걸친 향후 방향과 잠재적 연구 기회를 제시한다.