[논문 리뷰] A Variational Prosody Model for Mapping the Context-Sensitive Variation of Functional Prosodic Prototypes

Branislav Gerazov, Gérard Bailly외 3명|arXiv (Cornell University)|2018. 06. 22.

Speech Recognition and Synthesis참고 문헌 46인용 수 5

한 줄 요약

이 논문은 변분 오토인코더를 사용하고 깊이 있는 순환 윤곽 생성기를 갖춘 변분 음성 모델(Variational Prosody Model, VPM)을 제안한다. 이 모델은 음성의 구조적이고 맥락에 민감한 잠재 공간 표현을 학습한다. VPM은 단순한 진폭 스케일링을 넘어서 다중 매개변수적이고 시공간적인 변동을 포착하며, 기존 모델보다 음성 변동성을 더 잘 모델링하면서도 원시 음성 데이터로부터 해석 가능하고 분리 가능한 음성 분해를 가능하게 한다.

ABSTRACT

The quest for comprehensive generative models of intonation that link linguistic and paralinguistic functions to prosodic forms has been a longstanding challenge of speech communication research. Traditional intonation models have given way to the overwhelming performance of deep learning (DL) techniques for training general purpose end-to-end mappings using millions of tunable parameters. The shift towards black box machine learning models has nonetheless posed the reverse problem -- a compelling need to discover knowledge, to explain, visualise and interpret. Our work bridges between a comprehensive generative model of intonation and state-of-the-art DL techniques. We build upon the modelling paradigm of the Superposition of Functional Contours (SFC) model and propose a Variational Prosody Model (VPM) that uses a network of variational contour generators to capture the context-sensitive variation of the constituent elementary prosodic contours. We show that the VPM can give insight into the intrinsic variability of these prosodic prototypes through learning a meaningful prosodic latent space representation structure. We also show that the VPM is able to capture prosodic phenomena that have multiple dimensions of context based variability. Since it is based on the principle of superposition, the VPM does not necessitate the use of specially crafted corpora for the analysis, opening up the possibilities of using big data for prosody analysis. In a speech synthesis scenario, the model can be used to generate a dynamic and natural prosody contour that is devoid of averaging effects.

연구 동기 및 목표

• 맥락에 민감하고 다중 매개변수적인 음성 변동성을 분리 가능하고 해석 가능한 방식으로 모델링하는 데 도전한다.
• 기존의 생성적 음성 모델과 현대적인 딥 러닝 간 격차를 해소하기 위해 변분 인코딩을 통합한다.
• 의미 있는 저차원 잠재 공간 표현을 통해 내재된 음성 변동성을 발견할 수 있도록 한다.
• 특별히 코딩된 코퍼스에 의존하는 것을 줄이고, 대규모 데이터에 대한 엔드 투 엔드 딥 러닝을 활용한다.
• 음성 합성 응용 분야를 지원하기 위해 동적인, 평균화되지 않은 음성 윤곽을 생성할 수 있도록 한다.

제안 방법

• VPM은 변분 인코딩을 통해 입력 맥락을 잠재 공간으로 매핑하는 깊이 있는 신경망과 변분 윤곽 생성기를 사용한다.
• 각 윤곽 생성기는 언어적 및 비언어적 맥락에 조건화되어 있으며, 재구성 기법을 사용하여 확률적 샘플링을 통한 역전파를 가능하게 한다.
• 예측된 음성 윤곽과 목표 윤곽 간의 재구성 오차를 최소화하기 위해 백프로파게이션을 함께 사용하여 훈련한다.
• 초기 기능 원형(클리셰)으로 음성을 분해함으로써 고조성, 리듬, 공언동작 등의 다중 매개변수적 모델링이 가능하다.
• 잠재 공간은 변분 추론을 통해 구조화되어 있으며, 음성 형태와 시점의 맥락 특화된 변동을 분리 가능한 표현으로 가능하게 한다.
• 모델은 두 언어에서 수행된 Morlec 및 Chen 데이터베이스를 사용하여 평가되었으며, SFC, WSFC 및 Merlin 기반 기준 모델과의 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 변분 인코딩을 갖춘 딥 생성 모델이 진폭 스케일링을 넘어서 맥락에 민감한 음성 원형의 변동을 효과적으로 포착할 수 있는가?
• RQ2 VPM은 다수의 언어적 및 비언어적 차원에서 음성 변동성의 구조적이고 분리 가능한 잠재 공간 표현을 얼마나 잘 학습하는가?
• RQ3 VPM은 이전의 분해 모델(SFC, WSFC)과 표준 딥 러닝 기준 모델에 비해 음성 윤곽 모델링에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 특히 코딩된 코퍼스가 필요 없이 대규모 비정형 음성 데이터에 일반화될 수 있는가?
• RQ5 잠재 공간에서 샘플링을 통해 모델이 음성의 내재된 변동성, 특히 시공간적 동역학을 어떻게 드러내는가?

주요 결과

• VPM은 잠재 공간의 첫 두 주성분을 통해 음성 윤곽의 88%의 변동성을 포착하는 데 성공했으며, 원래의 SFC 모델의 81%보다 높은 성능이다.
• VPM은 진폭 스케일링을 넘어서는 형태 변동성을 포착하는 데서 가중치가 부여된 SFC(WSFC) 모델보다 높은 설명 분산을 보이며, 더 나은 성능을 입증했다.
• 맥락 조건 없이도 VPM의 확률적 샘플링 과정은 의미 있는 음성 변동성을 포착하지만, 국소적인 평균화 효과로 인해 윤곽 진폭이 감소한다.
• 모델은 선언, 질문, 감탄 등의 다양한 태도 기능을 위한 통합된 음성 잠재 공간을 성공적으로 학습하여, 기능적 음성의 분리 가능한 표현을 보여주었다.
• VPM은 표준 딥 러닝 기준 모델과 비교해 유사하거나 더 뛰어난 성능을 보이며, 해석 가능하고 분리 가능한 음성 표현을 제공한다.
• 모델의 아키텍처는 동적인, 평균화되지 않은 음성 윤곽 생성이 가능하게 하여 고해상도 음성 합성 응용 분야에 적합하다.