[논문 리뷰] Zero-Shot Multi-Speaker Text-To-Speech with State-of-the-art Neural Speaker Embeddings

Erica Cooper, Cheng-I Lai외 5명|arXiv (Cornell University)|2019. 10. 23.

Speech Recognition and Synthesis참고 문헌 36인용 수 9

한 줄 요약

이 논문은 최신 신경 음성 인식 임베딩 기술인 학습 가능한 사전 인코딩(LDE)과 각도 기반 소프트맥스 손실을 사용하여, 기존 x-vector와 비교해 미리 학습되지 않은 음성 주자를 위한 음성 유사도와 자연스러움을 크게 향상시킨, 제로샷 다중 음성 주자 텍스트-음성 합성 기법을 제안한다. 최고 성능을 보인 시스템(LDE-3)은 미리 학습되지 않은 테스트 음성 주자에 대해 음성 유사도(DMOS 2.46)와 자연스러움(MOS 3.48)에서 통계적으로 유의미하게 뛰어난 성능을 보였으며, 각각 x-vector보다 p=0.02와 p=5.9e-11의 유의미성 수준에서 뛰어났다.

ABSTRACT

While speaker adaptation for end-to-end speech synthesis using speaker embeddings can produce good speaker similarity for speakers seen during training, there remains a gap for zero-shot adaptation to unseen speakers. We investigate multi-speaker modeling for end-to-end text-to-speech synthesis and study the effects of different types of state-of-the-art neural speaker embeddings on speaker similarity for unseen speakers. Learnable dictionary encoding-based speaker embeddings with angular softmax loss can improve equal error rates over x-vectors in a speaker verification task; these embeddings also improve speaker similarity and naturalness for unseen speakers when used for zero-shot adaptation to new speakers in end-to-end speech synthesis.

연구 동기 및 목표

• 최신 기술 수준의 신경 음성 인식 임베딩이 엔드 투 엔드 텍스트-음성 합성에서 미리 학습되지 않은 음성 주자에 대해 제로샷 음성 주자 적응을 향상시키는지 조사하는 것.
• 음성 인식을 위한 목적에 맞게 학습된 음성 임베딩이 TTS에서 미리 학습되지 않은 음성 주자에 대해 음성 유사도와 자연스러움을 향상시키는지 확인하는 것.
• 특히 LDE와 각도 기반 소프트맥스를 사용한 다양한 음성 임베딩 유형이 표준 x-vector에 비해 제로샷 TTS에서 얼마나 효과적인지 비교하는 것.
• 자동 음성 인식(ASV)에서 최고 성능을 보이는 임베딩이 TTS에서도 최고의 성능을 내는지 평가하는 것.
• ASV 성능(EER)과 TTS 품질 지표(MOS, DMOS) 사이에 상관관계가 있는지 확인하는 것.

제안 방법

• 프리넷과 어텐션 메커니즘에 음성 임베딩을 통합하여 다중 음성 주자 TTS를 지원하는 개선된 Tacotron 모델을 확장하였다.
• 14종의 LDE 임베딩 변종과 x-vector를 포함한 총 15종의 다른 음성 임베딩 유형을 사용하여, 각각 후처리 정규화(N) 유무를 고려해 15개의 별도 TTS 모델을 학습하였다.
• 프레임 수준 표현에서 고정 차원의 문장 수준 임베딩을 생성하기 위해 학습 가능한 사전 인코딩(LDE)을 풀링 레이어로 사용하였다.
• 음성 임베딩 네트워크 학습 중에 각도 기반 소프트맥스 손실을 적용하여 분류 능력을 향상시키고, 음성 공간 내에서의 임베딩 군집화를 개선하였다.
• 임베딩 일반화 능력 향상과 학습된 음성 주자에 대한 과적합 방지를 위해 성별 기반 학습 설정을 도입하였다.
• 463명의 참가자가 참여한 커뮤니티 기반 听력 테스트를 실시하여, 목표 음성 주자의 기준 음성 문장과 함께, 미리 학습되지 않은 음성 주자에 대한 MOS(자연스러움)와 DMOS(음성 유사도)를 평가하였다.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 음성 임베딩, 특히 LDE와 각도 기반 소프트맥스를 사용하면, 엔드 투 엔드 TTS에서 미리 학습되지 않은 음성 주자에 대해 제로샷 음성 주자 적응을 향상시킬 수 있는가?
• RQ2 대규모이고 다양한 음성 인식 데이터로 학습된 음성 임베딩을 사용하면, x-vector에 비해 TTS에서 음성 유사도와 자연스러움이 향상되는가?
• RQ3 자동 음성 인식(ASV) 성능(EER)과 TTS 품질 지표(MOS, DMOS) 사이에 상관관계가 있는가?
• RQ4 어느 특정 조합의 임베딩 아키텍처와 학습 목표 함수가 미리 학습되지 않은 음성 주자 합성에서 가장 높은 성능을 낼 수 있는가?
• RQ5 후처리 정규화(N)가 다양한 임베딩 유형에서 TTS 품질이나 음성 유사도에 유의미한 영향을 미치는가?

주요 결과

• LDE-3 임베딩 설정이 미리 학습되지 않은 테스트 음성 주자에 대해 가장 높은 MOS(3.48)와 DMOS(2.46)를 기록하였으며, x-vector보다 통계적으로 유의미하게 뛰어났다(p=5.9e-11 for MOS, p=0.02 for DMOS).
• LDE 기반 임베딩은 미리 학습되지 않은 음성 주자에 대해 음성 유사도와 자연스러움을 모두 향상시켰으며, 최고의 LDE 변종(LDE-3)은 x-vector 대비 미리 학습되지 않은 음성 주자에서 DMOS 점수를 1.5점 향상시켰다.
• LDE-3 시스템은 모든 임베딩 중에서 가장 낮은 동등 오류율(EER)을 기록하여, 음성 인식에서 뛰어난 분류 능력을 입증하였다.
• ASV 성능(EER)과 TTS 품질 지표(MOS 또는 DMOS) 사이에 의미 있는 상관관계는 발견되지 않았으며, 이는 높은 ASV 정확도가 반드시 더 나은 TTS 성능을 예측하지는 않음을 시사한다.
• 후처리 정규화(N)는 성능에 거의 영향을 주지 않아, 핵심 임베딩 아키텍처와 학습 목표 함수가 단순 정규화보다 훨씬 중요하다는 것을 시사한다.
• 비록 성능 향상이 있었지만, 미리 학습되지 않은 음성 주자에 대한 음성 유사도는 학습된 음성 주자에 비해 여전히 유의미하게 낮았으며, 이는 학습된 음성 주자에 대한 과적합이 계속되고 있으며 향후 개선 여지가 있음을 시사한다.