[논문 리뷰] A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation

Hieu-Thi Luong, Junichi Yamagishi|arXiv (Cornell University)|2019. 06. 18.

Speech Recognition and Synthesis참고 문헌 67인용 수 9

한 줄 요약

이 논문은 음성 번역이 있는지 여부에 관계없이 백프로파게이션 기반의 종단 간 편집을 허용하는 신경 음성 합성용 통합된 발화자 적응 프레임워크를 제안한다. 음성 모델을 발화자 독립적 언어 인코더와 발화자 적응형 디코더로 분해하고, 비지도 적응을 위한 보조 인코더를 도입함으로써, 번역되지 않은 데이터를 사용할 때도 뛰어난 주관적 품질을 달성하며, 인간 평가에서 지도 학습 기반 모델을 초월한다.

ABSTRACT

By representing speaker characteristic as a single fixed-length vector extracted solely from speech, we can train a neural multi-speaker speech synthesis model by conditioning the model on those vectors. This model can also be adapted to unseen speakers regardless of whether the transcript of adaptation data is available or not. However, this setup restricts the speaker component to just a single bias vector, which in turn limits the performance of adaptation process. In this study, we propose a novel speech synthesis model, which can be adapted to unseen speakers by fine-tuning part of or all of the network using either transcribed or untranscribed speech. Our methodology essentially consists of two steps: first, we split the conventional acoustic model into a speaker-independent (SI) linguistic encoder and a speaker-adaptive (SA) acoustic decoder; second, we train an auxiliary acoustic encoder that can be used as a substitute for the linguistic encoder whenever linguistic features are unobtainable. The results of objective and subjective evaluations show that adaptation using either transcribed or untranscribed speech with our methodology achieved a reasonable level of performance with an extremely limited amount of data and greatly improved performance with more data. Surprisingly, adaptation with untranscribed speech surpassed the transcribed counterpart in the subjective test, which reveals the limitations of the conventional acoustic model and hints at potential directions for improvements.

연구 동기 및 목표

• 다양한 발화자 TTS 모델에서 고정된 발화자 임베딩 벡터의 한계를 해결하여 적응 성능을 제한하는 것.
• 종단 간 백프로파게이션을 통해 번역된 음성과 번역되지 않은 음성을 모두 효과적으로 사용하여 발화자 적응을 가능하게 하는 것.
• 언어적 지도 없이도 주관적 품질에서 지도 학습을 능가할 수 있는지 비지도 적응의 잠재력을 조사하는 것.
• 발화자 독립적 및 발화자 적응형 구성 요소를 분리하여 탄력적인 편집이 가능한 인코더-디코더 아키텍처를 개발하는 것.
• 전체 음성 디코더를 편집하는 것과 일부 레이어만 편집하는 것의 성능에 미치는 영향을 평가하는 것.

제안 방법

• 음성 모델을 발화자 독립적(SI) 언어 인코더와 발화자 적응형(SA) 음성 디코더로 분해하여 모듈식 적응을 가능하게 한다.
• 비지도 적응을 위해, 보조 음성 인코더를 음성만으로 언어 특징을 재구성하도록 훈련시켜, 전사가 없을 경우에도 적응이 가능하게 한다.
• 지문이 있는 적응의 경우, 참조 전사와 함께 백프로파게이션을 사용하여 전체 네트워크를 편집한다.
• 지문이 없는 적응의 경우, 보조 인코더가 언어 인코더의 역할을 대체하고, 전체 SA 디코더를 음성 웨이브폼만으로 편집한다.
• SA 디코더의 전체 또는 부분 편집을 지원하며, 척도 및 바이어스 코드에 대한 분석 실험을 수행한다.
• 종단 간 백프로파게이션을 사용하는 통합된 훈련 및 적응 프레임워크를 구현하여, 지도 및 비지도 설정 모두를 지원한다.

실험 결과

연구 질문

• RQ1 백프로파게이션를 사용하여 번역된 음성과 번역되지 않은 음성을 모두 활용할 수 있는 통합 프레임워크가 효과적인 발화자 적응을 달성할 수 있는가?
• RQ2 지문이 없는 음성 웨이브폼만으로도 지도 학습 대비 주관적 품질에서 뛰어난 성능을 보일 수 있는가?
• RQ3 전체 음성 디코더를 편집하는 것과 발화자 구성 요소만 편집하는 것의 적응 성능는 어떻게 비교되는가?
• RQ4 음성만으로 훈련된 보조 인코더가 비지도 적응에서 언어 인코더의 역할을 효과적으로 대체할 수 있는가?
• RQ5 발화자별 적응 전략(예: 척도 및 바이어스 코드)이 적응 품질에 어떤 영향을 미치는가?

주요 결과

• 번역되지 않은 음성만을 사용하는 비지도 적응 방법이 지도 학습 대비 유의미하게 뛰어난 주관적 품질을 달성했으며, 테스트 세트에서 평균 MOS 점수는 3.45를 기록했다.
• 320개의 발화를 사용할 때, 비지도 모델 BaB^all_u는 4점 척도에서 평균 유사도 점수 3.12를 기록했으며, 일부 발화자에 대해 지도 학습 모델 BaB^all_s+(3.11)와 BaB^all_u(2.86)를 모두 능가했다.
• 10개의 발화를 사용할 경우, 지도 학습 모델 BaB^all_s+는 평균 품질 점수 2.88을 기록했고, 비지도 모델 BaB^all_u는 2.98을 기록하여 최소한의 데이터로도 뛰어난 성능을 보였다.
• 비지도 모델 BaB^all_u는 평균 MOS 3.45를 기록했으며, 쌍대 비교에서 59%의 경우에서 선호되었으며, 언어적 지도 없이도 자연스러운 음성 품질을 확보했다.
• 전체 음성 디코더를 편집한 모델(BaB^all)이 지도 및 비지도 설정 모두에서 부분 편집보다 뛰어난 성능을 보였다.
• 비지도 시스템 BaB^all_u는 비영어권 발음을 가진 발화자(p264 및 p345)의 경우 유사도가 가장 낮았으며, 전사가 없이 언어적 매핑에 한계가 있음을 시사한다.