[논문 리뷰] Textless Speech Emotion Conversion using Discrete and Decomposed Representations

Felix Kreuk, Adam Polyak외 8명|arXiv (Cornell University)|2021. 11. 14.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 이산적이고 분해된 음성 표현을 사용하여 감정 변환을 말하기 언어 번역 작업으로 간주하는 텍스트 기반 음성 감정 변환 방법을 제안한다. 내용, 억양, 화자, 감정을 분리함으로써 모델은 음소 단위를 목표 감정으로 번역하고 억양 특징을 예측하여 청취자 평가에서 상태의 최고 성능을 달성하며, 주관적 평가에서도 텍스트 기반 시스템을 뛰어넘는 음성 품질과 감정 인식 성능을 확보한다.

ABSTRACT

Speech emotion conversion is the task of modifying the perceived emotion of a speech utterance while preserving the lexical content and speaker identity. In this study, we cast the problem of emotion conversion as a spoken language translation task. We use a decomposition of the speech signal into discrete learned representations, consisting of phonetic-content units, prosodic features, speaker, and emotion. First, we modify the speech content by translating the phonetic-content units to a target emotion, and then predict the prosodic features based on these units. Finally, the speech waveform is generated by feeding the predicted representations into a neural vocoder. Such a paradigm allows us to go beyond spectral and parametric changes of the signal, and model non-verbal vocalizations, such as laughter insertion, yawning removal, etc. We demonstrate objectively and subjectively that the proposed method is vastly superior to current approaches and even beats text-based systems in terms of perceived emotion and audio quality. We rigorously evaluate all components of such a complex system and conclude with an extensive model analysis and ablation study to better emphasize the architectural choices, strengths and weaknesses of the proposed method. Samples are available under the following link: https://speechbot.github.io/emotion.

연구 동기 및 목표

• 어휘적 내용과 화자 정체성을 유지하면서도 표현력 있고 감정이 풍부한 음성을 생성하는 데 도전하는 것.
• 비어 있는 발화(예: 웃음, 여흥)를 모델링할 수 없는 신호 기반 방법과 이러한 신호에 대한 애너테이션이 없는 텍스트 기반 방법의 한계를 극복하는 것.
• 텍스트 전사가 필요 없이 높은 품질의 감정 변환을 가능하게 하기 위해 분리된 음성 표현을 활용하는 것.
• 텍스트 기반 시스템과 비교해도 감정 인식과 음성 품질에서 동등하거나 뛰어난 성능을 낼 수 있음을 입증하는 것.
• 전체 시스템의 성능 기여도를 분석하기 위한 종합적인 아블레이션 및 분석 제공

제안 방법

• 시스템은 원시 음성에서 이산적 내용 단위(예: 음소-내용)를 추출하기 위해 음성 토크나이저를 사용하여 이산 시퀀스 모델링을 가능하게 한다.
• 순차적-순차적(S2S) 모델이 원천 감정에서 목표 감정으로 내용 단위를 번역하며, 감정 변환을 말하기 언어 번역 작업으로 간주한다.
• 억양 특징인 고도(F0)와 지속 시간은 번역된 내용 단위와 목표 감정 임베딩 기반으로 예측된다.
• 최종 음성 웨이브폼은 번역된 내용, 예측된 억양, 화자 정체성, 목표 감정을 조건으로 하는 신경형 보코더를 사용해 합성된다.
• 이 방법은 음성을 내용, 억양, 화자, 감정의 네 가지 분리된 구성 요소로 분해하여 독립적인 조작을 가능하게 한다.
• 전체 파이프라인은 병렬 데이터 설정에서 학습되며, 모든 구성 요소를 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 비어 있는 발화(예: 웃음, 여흥)를 모델링함으로써 텍스트 기반 접근이 감정 변환 성능을 뛰어넘을 수 있는가?
• RQ2 내용, 억양, 화자, 감정으로 분리된 음성 표현을 통해 감정 변환 품질이 어떻게 향상되는가?
• RQ3 감정 인식과 음성 품질 측면에서 제안된 방법이 신호 기반 및 텍스트 기반 기준 모델보다 어느 정도 뛰어나게 성능을 내는가?
• RQ4 시스템의 구성 요소 중에서(내용 번역, 억양 예측, 감정 조건화) 감정 전달에 가장 중요한 요소는 무엇인가?
• RQ5 중립적 발화(예: LibriSpeech의 중립 음성)와 같은 분포 외의 문장에 대해 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 방법은 분노 감정으로 변환할 때 86.11%의 eMOC 점수를 기록했으며, 중립 감정으로는 88.01%를 기록하여 기준 모델을 능가했다.
• 분포 외의 LibriSpeech 샘플에 대해 평균 eMOC 점수는 82.25%이며, MOS는 3.69로, 강력한 일반화 능력을 보였다.
• 기쁨 감정으로는 79.12%의 eMOC를 기록했고, 분노 감정으로는 86.11%를 기록하여 감정 전달 성공률가 매우 높았으며, 실제 녹음 기록 수준에 근접했다.
• 아블레이션 연구에서 F0와 지속 시간 예측만으로도 수면 감정으로 70.31%의 eMOC를 기록했고, 전체 파이프라인 성능는 실제 기록 수준에 맞추어졌다.
• 감정 인식과 음성 품질 측면에서 텍스트 기반 시스템을 뛰어넘어, MOS 및 eMOC 점수가 모두 텍스트 기반 기준 모델을 초월했다.
• 신호 기반 및 텍스트 기반 접근 방식에서 일반적으로 간과되는 웃음 삽입 및 여흥 제거와 같은 비어 있는 발화도 성공적으로 모델링했다.