[논문 리뷰] Multilingual Byte2Speech Text-To-Speech Models Are Few-shot Spoken Language Learners

Mutian He, Jingzhou Yang외 1명|arXiv (Cornell University)|2021. 03. 05.

Topic Modeling참고 문헌 19인용 수 6

한 줄 요약

이 논문은 바이트 시퀀스를 스펙트로그램으로 매핑하는 다국어 엔드 투 엔드 텍스트 투 음성 프레임워크를 제안하며, 단지 40초의 음성 텍스트 데이터만으로도 자원이 부족한 언어에 대한 적응이 가능하다. 이는 어휘집, 보조 모델, 언어학 전문 지식 없이도 40개 이상의 언어에서 자원이 적은 환경과 소수 샘플 설정에서도 고품질 음성 합성을 가능하게 하며, 설명 가능성을 높이기 위해 언어별로 특화된 하위 네트워크를 추출하는 방법을 도입한다.

ABSTRACT

We present a multilingual end-to-end Text-To-Speech framework that maps byte inputs to spectrograms, thus allowing arbitrary input scripts. Besides strong results on 40+ languages, the framework demonstrates capabilities to adapt to various new languages under extreme low-resource and even few-shot scenarios of merely 40s transcribed recording without the need of lexicon, extra corpus, auxiliary models, or particular linguistic expertise, while retains satisfactory intelligibility and naturalness matching rich-resource models. Exhaustive comparative studies are performed to reveal the potential of the framework for low-resource application and the impact of various factors contributory to adaptation. Furthermore, we propose a novel method to extract language-specific sub-networks for a better understanding of the mechanism of multilingual models.

연구 동기 및 목표

• 최소한의 데이터로 새로운 언어에 대해 자원이 없는 환경에서의 적응이 가능한 다국어 TTS 시스템을 개발하는 것.
• 자원이 적은 언어 모델링을 위해 어휘집, 외부 코퍼스, 언어학 전문 지식에 의존하지 않는 것.
• 소수 샘플 설정에서 엔드 투 엔드 바이트에서 스펙트로그램으로의 학습이 말하기 언어 습득에 얼마나 효과적인지 조사하는 것.
• 풍부한 자원이 없는 환경에서도 고음질 음성 합성을 가능하게 하는 것.
• 다국어 모델 행동을 이해하기 위해 언어별 특화된 하위 네트워크 추출을 통한 설명 가능성 제공

제안 방법

• 프레임워크는 토큰화나 언어별 전처리를 생략하고 바이트 수준의 입력을 그대로 스펙트로그램으로 매핑하는 엔드 투 엔드 아키텍처를 사용한다.
• 다양한 언어로 훈련된 공통의 다국어 백본 네트워크를 활용하여 다양한 스크립트와 발음 체계 간의 일반화를 이룬다.
• 목표 언어당 최소 40초의 텍스트-음성 데이터로 미세조정하여 소수 샘플 적응을 가능하게 한다.
• 언어별로 특화된 구성 요소를 공통 인코더에서 분리하는 새로운 하위 네트워크 정제 방법을 도입하여 언어 표현 학습 분석이 가능하게 한다.
• 어휘집, 보조 모델, 언어학 주석 없이도 원시 음성과 텍스트 바이트 시퀀스에만 의존한다.
• 언어별 헤드나 언어 ID 입력 없이도 최소한의 병렬 텍스트-음성 쌍으로 미세조정을 통해 적응을 달성한다.

실험 결과

연구 질문

• RQ1 40초의 텍스트-음성 데이터만으로도 다국어 TTS 모델이 자원이 적은 언어에서 고품질 음성 합성을 달성할 수 있는가?
• RQ2 어휘집, 외부 코퍼스, 언어학 전문 지식 없이도 소수 샘플 설정에서 모델 성능은 어떻게 되는가?
• RQ3 극도로 자원이 부족한 상황에서 다국어 TTS의 성공적 적응에 기여하는 요소는 무엇인가?
• RQ4 공통 다국어 아키텍처 내에서 언어별 특화된 하위 네트워크는 어떻게 형성되는가?
• RQ5 언어별 설계 없이도 다양한 스크립트와 발음 체계 간의 일반화는 어느 정도 가능할 수 있는가?

주요 결과

• 모델은 각 언어당 단지 40초의 텍스트-음성 데이터만으로도 40개 이상의 언어에서 높은 이해도와 자연스러움을 달성하며, 자원이 풍부한 모델 수준의 성능을 재현한다.
• 이 프레임워크는 자원이 적은 환경에서도 강력한 소수 샘플 일반화 성능을 보이며, 어휘집이나 언어학 자원이 없이도 높은 성능을 유지한다.
• 공통 모델에서 언어별 특화된 하위 네트워크를 추출할 수 있으며, 이는 서로 다른 언어에 대해 고유한 언어 표현을 드러낸다.
• 스크립트와 발음 체계 간의 일반화가 가능하여, 라틴 알파벳 외의 언어나 자원이 적은 언어까지도 아키텍처 수정 없이 처리할 수 있다.
• 체계적인 아블레이션 연구를 통해 모델의 성공은 엔드 투 엔드 바이트 수준 입력과 공통 다국어 표현 학습에 기인함을 확인했다.
• 극도로 자원이 부족한 조건에서 기존의 소수 샘플 TTS 접근 방식보다 자연스러움과 이해도 면에서 뛰어난 성능을 보였다.