[논문 리뷰] Textless Speech Emotion Conversion using Decomposed and Discrete Representations

Felix Kreuk, Adam Polyak외 8명|arXiv (Cornell University)|2021. 11. 14.

Speech Recognition and Synthesis참고 문헌 75인용 수 11

한 줄 요약

이 논문은 텍스트 전사 없이도 음성의 내용, 기본 주파수(F0), 화자, 정서를 분리된 표현으로 분해하고, 내용 단위를 목표 정서로 번역하며, 음성파형 생성을 위한 프로소디를 예측하는 텍스트리스 음성 정서 변환 방법을 제안한다. 이 방법은 비어벌 발성(예: 웃음, 하품)을 모델링할 수 있으며, 객관적이고 주관적인 평가를 통해 기존의 기준들보다 정서 전달력과 음성 품질에서 뛰어난 성능을 보인다.

ABSTRACT

Speech emotion conversion is the task of modifying the perceived emotion of a speech utterance while preserving the lexical content and speaker identity. In this study, we cast the problem of emotion conversion as a spoken language translation task. We decompose speech into discrete and disentangled learned representations, consisting of content units, F0, speaker, and emotion. First, we modify the speech content by translating the content units to a target emotion, and then predict the prosodic features based on these units. Finally, the speech waveform is generated by feeding the predicted representations into a neural vocoder. Such a paradigm allows us to go beyond spectral and parametric changes of the signal, and model non-verbal vocalizations, such as laughter insertion, yawning removal, etc. We demonstrate objectively and subjectively that the proposed method is superior to the baselines in terms of perceived emotion and audio quality. We rigorously evaluate all components of such a complex system and conclude with an extensive model analysis and ablation study to better emphasize the architectural choices, strengths and weaknesses of the proposed method. Samples and code will be publicly available under the following link: https://speechbot.github.io/emotion.

연구 동기 및 목표

• 텍스트 전사 없이도 정서 전달을 가능하게 하면서 내용과 화자 정체성을 유지하는 음성 정서 변환 문제를 해결하기 위해.
• 기존의 스펙트럼 또는 파rametric 방법으로는 포착하기 어려운 비어벌 발성(예: 웃음, 하품)을 모델링하기 위해.
• 정서 변환을 분리된 음성 표현을 사용하는 구두 언어 번역 작업으로 간주하는 통합 프레임워크를 개발하기 위해.
• 제거 분석과 종합적 분석을 통해 구성 요소 기여도와 아키텍처 선택 사항을 철저히 평가하기 위해.

제안 방법

• 방법은 원시 음성을 네 가지 분리된 이산 표현으로 분해한다: 내용 단위, 기본 주파수(F0), 화자 임베딩, 정서 임베딩.
• 내용 단위는 순서에서 순서로 번역 모델을 사용하여 원천 정서에서 목표 정서로 번역되며, 신경 기계 번역과 유사하다.
• 프로소디 특징(F0)은 번역된 내용 단위에서 전용 회귀 헤드를 통해 예측되며, 정서적 프로소디를 유지한다.
• 신경 보코더는 예측된 표현에서 음성파형을 재구성하여 고해상도 음성 생성을 보장한다.
• 모든 표현을 독립적으로 조작할 수 있기 때문에, 이 프레임워크는 웃음 삽입이나 하품 제거와 같은 비어벌 발성을 모델링할 수 있다.
• 내용 복원, 정서 예측, 음성파형 생성 목표를 조합한 다중 작업 손실을 사용하여 전체 시스템을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 분리된 이산 음성 표현은 텍스트 감시 없이도 효과적이고 제어 가능한 음성 정서 변환을 가능하게 하는가?
• RQ2 기존 기준들과 비교해 볼 때, 이 방법은 어휘적 내용과 화자 정체성을 유지하면서 정서를 얼마나 잘 전달하는가?
• RQ3 원천에 명시적으로 존재하지 않는 비어벌 발성(예: 웃음, 하품)을 얼마나 잘 생성할 수 있는가?
• RQ4 아키텍처의 구성 요소들 중에서 내용 번역, F0 예측, 표현 분리 중 어느 것이 성능 향상에 가장 기여하는가?
• RQ5 이산 단위 사용과 순서에서 순서로 모델링과 같은 아키텍처 선택 사항이 정서 전달 품질과 음성 정밀도에 어떻게 영향을 미치는가?

주요 결과

• 주관적 평가에서 강력한 기준들보다 뛰어난 정서 전달 품질을 달성하여, 이 방법이 정서 변환에 효과적임을 입증한다.
• 객관적 지표는 음성 품질과 정서 유사성 측면에서 뚜렷한 향상을 보이며, 생성된 출력의 강건성과 정밀도를 시사한다.
• 제거 분석을 통해 분리된 표현 학습과 순서에서 순서로 내용 번역 모듈이 높은 성능을 내기 위해 필수적임을 확인한다.
• 이 모델은 원천에 명시적으로 존재하지 않는 비어벌 발성(예: 웃음 삽입, 하품 제거)을 성공적으로 생성할 수 있으며, 기존의 파rametric 또는 스펙트럼 기반 방법으로는 달성할 수 없다.
• 자동 지표와 인간 평가를 통해 높은 화자 유사성과 어휘적 내용 유지가 확인된다.
• 예측된 표현에 조건을 부여한 신경 보코더는 청각적으로 자연스럽고 목표 정서와 일관된 고해상도 음성파형을 생성한다.