[논문 리뷰] Emotion controllable speech synthesis using emotion-unlabeled dataset with the assistance of cross-domain speech emotion recognition

Xiong Cai, Dongyang Dai외 4명|arXiv (Cornell University)|2020. 10. 26.

Speech Recognition and Synthesis참고 문헌 27인용 수 4

한 줄 요약

이 논문은 크로스도메인 음성 정서 인식(SER) 모델과 글로벌 스타일 토큰(GST)을 활용하여 완전히 정서 레이블이 없는 TTS 데이터셋에서 훈련하는 새로운 정서 제어 가능 텍스트-음성 합성(TTS) 시스템을 제안한다. 이 방법은 음성 품질의 최소한의 열화로도 높은 정서적 표현력을 달성하며, 수동으로 레이블링된 정서 데이터가 필요 없이 제로샷 정서 제어를 효과적으로 수행함을 보여준다.

ABSTRACT

Neural text-to-speech (TTS) approaches generally require a huge number of high quality speech data, which makes it difficult to obtain such a dataset with extra emotion labels. In this paper, we propose a novel approach for emotional TTS synthesis on a TTS dataset without emotion labels. Specifically, our proposed method consists of a cross-domain speech emotion recognition (SER) model and an emotional TTS model. Firstly, we train the cross-domain SER model on both SER and TTS datasets. Then, we use emotion labels on the TTS dataset predicted by the trained SER model to build an auxiliary SER task and jointly train it with the TTS model. Experimental results show that our proposed method can generate speech with the specified emotional expressiveness and nearly no hindering on the speech quality.

연구 동기 및 목표

• 정서 레이블이 부족한 데이터셋으로 인해 정서 TTS의 실용적 구현이 제한되는 문제를 해결하기 위해.
• TTS 데이터셋에 수동으로 레이블링된 정서 데이터가 필요 없이도 정서 제어를 가능하게 하기 위해.
• 크로스도메인 SER로부터의 약한 감시를 통해 신경망 TTS에서 정서 관련 유창성(프로소디)을 향상시키기 위해.
• 보조 훈련을 통해 정확한 정서적 표현력을 유지하면서도 높은 음성 품질을 확보하기 위해.
• 비용이 많이 드는 정서 레이블링에 대한 의존도를 줄이기 위해 외부 SER 데이터셋과 도메인 적응 기법을 활용하기 위해.

제안 방법

• 분포 이탈을 줄이기 위해 MMD를 활용한 도메인 적응을 통해 레이블이 있는 SER 데이터셋(소스 도메인)과 레이블이 없는 TTS 데이터셋(타겟 도메인)에서 크로스도메인 SER 모델을 사전 훈련한다.
• TTS 데이터셋에 대해 SER 모델의 소프트맥스 출력에서 소프트 정서 레이블을 예측하고, 이를 보조 정서 예측 작업의 약한 감시 신호로 사용한다.
• GST 모듈과 보조 정서 예측 헤드를 함께 훈련시키며, 정서 예측은 학습된 스타일 토큰 가중치에 기반한다.
• 정서별 참조 오디오 세트를 구성하기 위해 상위-K 참조 선택 기법을 사용한다: 각 정서에 대해 가장 신뢰도가 높은 K개의 오디오를 평균하여 정서 임베딩을 생성한다.
• 최종 TTS 추론 과정에서는 선택된 참조 세트에서의 평균 스타일 토큰 가중치를 사용하여 합성 음성의 정서적 유창성을 제어한다.
• 이 방법은 GST 프레임워크를 활용해 콘텐츠와 스타일을 분리하며, 보조 예측 작업을 통해 정서 모델링이 향상된다.

실험 결과

연구 질문

• RQ1 정서 레이블이 전혀 없는 데이터셋에서만 훈련된 TTS 시스템이 제어 가능한 정서적 표현력을 달성할 수 있는가?
• RQ2 도메인 분포의 차이가 존재할 때 크로스도메인 SER가 TTS 데이터에 대해 신뢰할 수 있는 정서 레이블을 제공하는 데 얼마나 효과적인가?
• RQ3 스타일 토큰 가중치 기반의 보조 정서 예측 작업이 GST 모듈 내 정서 관련 콘텐츠의 분리에 기여하는가?
• RQ4 모든 예측된 오디오를 사용하는 것과 비교해 상위-K 참조 선택 전략이 정서 일관성과 표현력 향상에 기여하는가?
• RQ5 제안된 방법이 정서 제어를 가능하게 하면서도 음성 품질을 얼마나 잘 유지하는가?

주요 결과

• 제안된 방법은 중립 정서에 대해 평균 관점 점수(MOS) 4.12, 분노 정서에 대해 3.80, 기쁨 정서에 대해 3.11, 슬픔 정서에 대해 3.61를 기록하였으며, 기준 모델과 비교해 품질에 유의미한 차이가 없음(p-value = 0.20).
• 상위-K 전략을 사용한 경우 네 가지 정서 카테고리(중립, 분노, 기쁨, 슬픔)의 평균 정서 인식 정확도는 78.75%에 도달하였으며, 기준 모델(36.75%)과 전체 세트 기준 모델(49.25%)보다 유의미하게 높음.
• 도파민 및 밸런스 차원에서의 평균 인식 정확도는 각각 91.0%와 55.5%였으며, 무작위 기준(50.0%)보다 훨씬 높음.
• t-SNE 시각화 결과, 제안된 모델의 스타일 토큰 가중치는 각 정서 카테고리별로 명확하고 분리된 클러스터를 형성한 반면, 기준 모델은 낮은 클러스터링 성능를 보였다.
• 특히 '기쁨' 정서에 대해 성능이 열악하며 MOS가 3.11로 낮게 나타났는데, 이는 이 카테고리에서 SER 정확도가 낮기 때문일 것으로 보이며, 이는 방법의 정확도가 SER 품질에 민감하게 의존함을 시사한다.
• 보조 정서 예측 작업은 GST 모듈이 정서 관련 특징을 더 잘 추출할 수 있도록 유의미하게 향상시켰으며, 이는 개선된 클러스터링 및 인식 성능으로 입증됨.