[논문 리뷰] Fitting New Speakers Based on a Short Untranscribed Sample

Eliya Nachmani, Adam Polyak외 2명|arXiv (Cornell University)|2018. 02. 20.

Speech Recognition and Synthesis참고 문헌 17인용 수 16

한 줄 요약

이 논문은 주어진 음성 샘플이 짧고 비번역된 상태여도, 주어진 음성 샘플에서 새로운 화자에 대한 음성 합성 모델을 학습할 수 있도록 하는 피드포워드 신경 TTS 시스템을 제안한다. 이는 메인 합성 모델과 함께 공동으로 훈련된 전용 화자 임베딩 네트워크를 사용한다. 사이클 및 대조 손실과 같은 일관성 손실을 활용함으로써, 1.5초의 짧은 샘플에서도 높은 품질의 음성 클로닝 성능을 달성하며, 기존의 VoiceLoop와 비교해 음성 품질과 화자 신원 유지 측면에서 모두 뛰어난 성능을 보인다.

ABSTRACT

Learning-based Text To Speech systems have the potential to generalize from one speaker to the next and thus require a relatively short sample of any new voice. However, this promise is currently largely unrealized. We present a method that is designed to capture a new speaker from a short untranscribed audio sample. This is done by employing an additional network that given an audio sample, places the speaker in the embedding space. This network is trained as part of the speech synthesis system using various consistency losses. Our results demonstrate a greatly improved performance on both the dataset speakers, and, more importantly, when fitting new voices, even from very short samples.

연구 동기 및 목표

• 짧고 비번역된 음성 샘플만으로도 새로운 화자에 대해 고품질의 텍스트-음성 합성을 가능하게 하기 위해.
• 번역된 데이터와 대량의 화자별 훈련 데이터가 필요로 하는 기존의 다중 화자 TTS 시스템의 한계를 극복하기 위해.
• 비전단화된 데이터, 특히 실외에서 촬영된 짧은 샘플에서도 화자 신원을 캡처하고 합성할 수 있음을 입증하기 위해.
• 반복 최적화 없이도 단일 네트워크가 프라밍을 통해 여러 화자를 모방할 수 있는지 조사하기 위해.
• 일관성 손실(Lcycle 및 Lcontrast)이 반복 최적화 없이도 안정적인 실시간 화자 임베딩 학습을 가능하게 하는지 검증하기 위해.

제안 방법

• 짧은 음성 샘플을 피드포워드 방식으로 화자 임베딩으로 매핑하는 화자 피팅 네트워크 Ns를 도입하여, 기존의 룩업 테이블(LUT) 기반 화자 임베딩을 대체한다.
• 메인 TTS 모델과 함께 다중 일관성 손실을 사용해 Ns를 공동 훈련한다: Lcycle은 임베딩에서 재구성된 음성의 임베딩이 원본 입력 음성의 임베딩과 동일하도록 보장하며, Lcontrast는 서로 다른 화자 간의 임베딩 간 거리를 증가시켜 분류 성능을 향상시킨다.
• 사이클 일관성 손실(Lcycle)을 적용하여, 재구성된 음성의 임베딩이 원본 입력 음성의 임베딩과 일치하도록 강제한다.
• 대조 손실(Lcontrast)을 활용하여 임베딩 공간 내에서 서로 다른 화자 간의 임베딩 간 거리를 넓혀 화자 식별 성능을 향상시킨다.
• 원시 음성 또는 보코더 특징을 지원하는 엔드 투 엔드 훈련 및 추론을 가능하게 하는 VoiceLoop TTS 프레임워크 내에서 이 방법을 적용한다.
• 모델은 VCTK(VCTK85)의 일부 데이터셋으로 훈련되었으며, 훈련된 화자(VCTK16)와 VoxCeleb 및 LibriSpeech의 미사용 화자들에 대해 평가되었다.

실험 결과

연구 질문

• RQ1 짧고 비번역된 음성 샘플만으로도 신규 화자의 음성 특성을 정확하게 학습할 수 있는가?
• RQ2 Lcycle 및 Lcontrast와 같은 일관성 손실이 최적화 없이도 안정적인 실시간 화자 임베딩 학습을 가능하게 하는가?
• RQ3 명시적인 화자별 훈련 또는 미세조정 없이도 단일 네트워크가 프라밍을 통해 여러 화자를 모방할 수 있는가?
• RQ4 85명의 다양한 화자로 구성된 소규모 데이터셋에서 훈련한 모델이 훨씬 더 큰 수의 미사용 화자들로 일반화할 수 있는가?
• RQ5 동적이고 실시간으로 화자 임베딩을 생성하는 시스템이 고정된 사전 학습된 화자 임베딩의 성능을 따라하거나 뛰어나는가?

주요 결과

• 제안된 방법은 1.5초의 테스트 데이터만으로도 VCTK16에서 MOS 점수 3.84 ± 0.92를 기록하여, VoiceLoop의 2.92 ± 1.08보다 유의미하게 뛰어난 성능을 보였다.
• 1.5초 샘플 기준으로, 제안된 방법은 상위 1 정답률 73.72%를 기록했으며, 이는 VoiceLoop의 52.55%보다 뛰어난 화자 임베딩 품질을 의미한다.
• 제거 실험 결과, Lcycle를 제거하면 정확도가 77.37%로 떨어지고, Lcontrast를 제거하면 56.20%로 떨어지며, 이는 두 손실 모두 성능 향상에 필수적임을 입증한다.
• 적용된 음성에 대해 VCTK16에서 평균 MCD는 14.47 ± 0.83을 기록하여, VoiceLoop의 14.72 ± 0.97보다 뛰어난 성능을 보였다.
• TSNE 시각화 결과, Lcycle가 특히 미사용 화자에 대해 화자 임베딩 간 분離도를 크게 향상시킴을 확인했다.
• 프라밍 기반의 단일 네트워크 접근법은 단 1초의 음성 샘플만으로도 합리적인 음성 모방 성능을 달성하여, 반복 최적화 없이도 화자 신원을 캡처할 수 있음을 시사한다.