[논문 리뷰] Multilingual Byte2Speech Models for Scalable Low-resource Speech Synthesis

Mutian He, Jingzhou Yang외 2명|arXiv (Cornell University)|2021. 03. 05.

Speech Recognition and Synthesis참고 문헌 30인용 수 15

한 줄 요약

이 논문은 원시 UTF-8 바이트를 스펙트로그램으로 매핑하는 다국어 Byte2Speech 프레임워크를 제안한다. 이는 어휘사전, G2P 규칙, 언어학적 전문 지식 없이도 43개 언어에서 종단간 음성 합성 구현이 가능하게 하며, 음소 기반 시스템과 유사한 성능을 달성한다. 또한 40초가량의 번역된 데이터로 저자원 언어에 대한 소수의 예시 적응이 가능하고, 공통 다국어 아키텍처 내에서 언어별 하위 네트워크가 잠재적으로 드러나는 새로운 정렬 방법을 제공한다.

ABSTRACT

To scale neural speech synthesis to various real-world languages, we present a multilingual end-to-end framework that maps byte inputs to spectrograms, thus allowing arbitrary input scripts. Besides strong results on 40+ languages, the framework demonstrates capabilities to adapt to new languages under extreme low-resource and even few-shot scenarios of merely 40s transcribed recording, without the need of per-language resources like lexicon, extra corpus, auxiliary models, or linguistic expertise, thus ensuring scalability. While it retains satisfactory intelligibility and naturalness matching rich-resource models. Exhaustive comparative and ablation studies are performed to reveal the potential of the framework for low-resource languages. Furthermore, we propose a novel method to extract language-specific sub-networks in a multilingual model for a better understanding of its mechanism.

연구 동기 및 목표

• 어휘사전, G2P 규칙, 언어학적 전문 지식과 같은 언어별 자원에 의존하지 않는 확장성 있고 저자원 기반 음성 합성 프레임워크를 개발하는 것.
• 추가 데이터나 보조 모델 없이도 40초의 번역된 오디오만으로도 새로운 언어에 대한 소수의 예시 적응을 가능하게 하는 것.
• 특히 저자원 환경에서 다국어 모델이 어떻게 지식을 학습하고 전이하는지 조사하는 것.
• 매개변수 정렬을 통한 언어별 하위 네트워크 식별을 통해 다국어 TTS 모델을 해석할 수 있는 메커니즘을 제공하는 것.

제안 방법

• 입력 토큰으로 원시 UTF-8 바이트를 사용하는 12층의 Transformer TTS 프레임워크를 활용하여, 스크립트별 전처리 없이도 모든 유니코드 스크립트를 지원한다.
• 언어 및 화자 임베딩은 인코더 출력에 연결되며, 언어 ID를 직접 입력에 통합하는 것에는 성능 향상이 없다.
• 900시간 분량의 다국어 데이터(43개 언어, 109명의 화자)를 대상으로 계층적이고 언어 균형 잡힌 전략을 사용하여 훈련을 수행하며, 숫자 정규화 및 중국어 어절 분할과 같은 기본 전처리만을 사용한다.
• 공동 훈련 전략을 통해 루마니아어나 그리스어와 같은 새로운 언어에 대해 1분 미만의 오디오로 소수의 예시 적응이 가능하다.
• 새로운 언어별 정렬 방법을 도입하여, 원천 언어(예: 독일어)의 중요도 점수를 활용해 하위 네트워크를 추출하고, 이후 목표 언어에서 재학습하여 하위 네트워크의 기능성을 평가한다.
• 오픈소스 자원 기반으로 구축되었으며, 재현 가능성을 위해 공개된 파이프라인과 오디오 데모를 포함한다.

실험 결과

연구 질문

• RQ1 다양한 스크립트와 언어에서 훈련된 다국어 TTS 모델이 언어별 자원 없이도 새로운 저자원 언어로 일반화할 수 있는가?
• RQ2 40초의 번역된 데이터로도 고품질 음성 합성을 얼마나 잘 달성할 수 있는가?
• RQ3 언어 간 유사성이 다국어 TTS 프레임워크 내에서 전이 학습과 모델 적응에 어떤 영향을 미치는가?
• RQ4 공통 다국어 Transformer 모델 내에서 잠재적인 언어별 하위 네트워크를 식별하고 검증할 수 있는가?
• RQ5 언어학적 구조와 음소 유사성이 다양한 언어 간 효과적인 소수의 예시 적응을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• Byte2Speech 모델은 음소 수준의 입력이나 언어별 전처리 없이도 43개 언어에서 음소 기반 모델과 유사한 음성 합성 품질을 달성한다.
• 모델은 번역된 오디오 40초만으로도 새로운 언어에 대한 소수의 예시 적응이 가능하며, 훨씬 더 많은 데이터로 훈련된 기준 모델과 유사한 성능을 보인다.
• 독일어에서 유도된 중요도 점수를 기반으로 한 정렬은 광둥어에서 54.9%의 성능 저하를 유도하지만, 무작위 정렬은 실패함으로써, 이 방법이 언어별 뉴런을 성공적으로 식별하고 있음을 시사한다.
• 모델은 다국어 훈련 과정에서 자연스럽게 언어별 하위 네트워크가 유도됨을 보여주며, 언어 간 유사성이 높을수록 전이 성능이 향상됨을 확인한다.
• 체계적인 추상화 실험을 통해 모델의 성능이 입력 변형에 대해 강건하며, 언어 균형 잡힌 계층적 훈련 전략이 일반화에 핵심적임을 입증한다.
• 스크립트별 엔지니어링 없이도 인디아계, 중국어, 비라틴 알파벳 외의 다양한 스크립트에서 제로샷 및 소수의 예시 적응을 지원한다.