[논문 리뷰] Semi-Supervised Generative Modeling for Controllable Speech Synthesis

Raza Habib, Soroosh Mariooryad외 6명|arXiv (Cornell University)|2019. 10. 03.

Speech Recognition and Synthesis참고 문헌 36인용 수 15

한 줄 요약

이 논문은 신경 음성 합성(TTS)과 변분 자동인코더(VAE)를 통합하여 신뢰할 수 있고 제어 가능한 음성 합성을 가능하게 하는 준감독형 딥 생성 모델을 제안한다. 최소한의 감독(1% 또는 30분 이내)을 잠재적 억양 변수에 적용함으로써, 감정, 말 속도, F0 변화와 같은 해석 가능한 특성들을 분리하고 제어할 수 있으며, 합성 품질에 영향을 주지 않으면서 고정된 제어 요소를 사용한 일관된 샘플링을 가능하게 한다.

ABSTRACT

We present a novel generative model that combines state-of-the-art neural text-to-speech (TTS) with semi-supervised probabilistic latent variable models. By providing partial supervision to some of the latent variables, we are able to force them to take on consistent and interpretable purposes, which previously hasn't been possible with purely unsupervised TTS models. We demonstrate that our model is able to reliably discover and control important but rarely labelled attributes of speech, such as affect and speaking rate, with as little as 1% (30 minutes) supervision. Even at such low supervision levels we do not observe a degradation of synthesis quality compared to a state-of-the-art baseline. Audio samples are available on the web.

연구 동기 및 목표

• 대규모로 감정 및 말 속도와 같은 고수준의 억양 특성에 대한 레이블링이 어려운 제어 문제를 해결하기 위해.
• 순수하게 무감독인 잠재 변수 모델에서 발생하는 식별 불가능성과 낮은 해석 가능성 문제를 해결하기 위해, 학습된 요소에 의미를 부여하기 위해 광범위한 후처리가 필요한 문제를 해결하기 위해.
• 최소한의 인간 감독을 통해 신뢰할 수 있고 분리된 제어를 가능하게 하며, 1%의 레이블 데이터로도 효과를 입증하기 위해.
• 최첨단 완전 감독 기반 보조 모델과 비교해도 품질이 떨어지지 않도록 높은 품질의 음성 합성 품질을 유지하면서 제어 기능을 도입하기 위해.
• 레이블이 제공되지 않은 새로운 화자에게도 제어 기능을 전이할 수 있도록 하여, 레이블이 있는 데이터를 초월한 제어 기능의 확장성을 확보하기 위해.

제안 방법

• 모델는 조건부 변분 자동인코더(VAE) 프레임워크를 사용하며, 음성 특징 $x$를 텍스트 $y$에 조건부로 생성하고, 두 개의 잠재 변수를 사용한다: $z_s$ (준감독형, 제어 가능한 억양)와 $z_u$ (완전히 관측되지 않은, 제어되지 않은 억양 변동을 모델링).
• 우도 $p(x|y, z_u, z_s)$는 타코트론 2와 유사한 어텐션 기반의 시퀀스-투-시퀀스 신경망으로 파arameter화되며, 멜스펙트로그램 프레임에 대해 자기회귀적 등방성 라플라스 분포의 평균을 생성한다.
• 준감독 학습은 확률적 경량 최적화 기반 변분 베이즈(SGVB)를 통해 수행되며, 감독된 데이터 포인트의 사후분포는 진짜 레이블에 조건부로 설정된 변분 분포로 모델링되고, 비감독 데이터 포인트는 표준 사후 근사치를 사용한다.
• 연속형 $z_s$에는 표준 정규 사전분포를, 이산형 $z_s$에는 균일한 다항 사전분포를 사용하여 연속형 및 이산형 제어 가능한 요소를 모두 지원한다.
• 디코더를 $z_s$에 조건부로 설정함으로써 제어를 달성하며, $z_s$를 고정한 채 다양한 억양 변동을 샘플링할 수 있어 분리된 제어를 가능하게 한다.
• 모델는 엔드 투 엔드로 변분 하한(ELBO)을 기반으로 학습되며, 추론은 샘플링 중 사후 근사치를 통해 수행된다.

실험 결과

연구 질문

• RQ1 준감독 잠재 변수 모델링이 신경 TTS에서 감정 및 말 속도와 같은 억양 특성에 대해 신뢰할 수 있고 해석 가능한 제어를 가능하게 할 수 있는가?
• RQ2 생성 TTS 프레임워크에서 억양 요소의 일관된 분리 및 제어를 달성하기 위해 얼마나 적은 감독이 필요한가?
• RQ3 최소한의 레이블링 조건에서도 제어 기능을 도입함에 있어 높은 합성 품질을 유지할 수 있는가?
• RQ4 학습 중에 볼 수 없었던 화자에게도 제어 기능을 일반화하여 레이블이 없는 상태에서 영역 전이를 수행할 수 있는가?
• RQ5 확률적 공식화는 히우리스틱 방법과 달리 특정 제어 요소를 고정한 채 다양한 억양 변동을 샘플링할 수 있는가?

주요 결과

• 모델는 학습 데이터의 1%만 레이블링(약 30분의 음성 녹음)을 통해 감정, 말 속도, F0 변화에 대해 안정적인 제어를 달성한다.
• 사람이 평가한 평균 의견 점수(MOS)를 통해 최첨단 완전 감독 기반 TTS 시스템과 동등한 합성 품질을 유지하며, 최소한의 감독에도 불구하고 품질 저하가 관찰되지 않는다.
• 특정 제어 요소를 고정한 채 다양한 억양 변동(예: 다른 감정 톤 또는 말 속도)을 샘플링할 수 있으며, 이는 분리된 생성을 입증한다.
• 레이블이 없는 새로운 화자에게도 제어 기능을 성공적으로 전이하여 강력한 영역 전이 능력을 입증한다.
• 이 방법은 연속형 및 이산형 제어 가능한 요소를 모두 지원하며, 훈련 데이터 분포를 초월한 새로운 범위의 연속형 특성(예: 극단적인 감정 강도)에 대한 외삽도 가능하다.
• 준감독 접근법은 순수 무감독 모델의 식별 불가능성 및 해석 불가능성 문제를 해결하여, 학습된 잠재 요소에 의미를 할당하기 위한 복잡한 후처리 절차가 필요 없음을 입증한다.