[논문 리뷰] Cross-speaker Emotion Transfer Based on Speaker Condition Layer Normalization and Semi-Supervised Training in Text-To-Speech

Pengfei Wu, Junjie Pan외 5명|arXiv (Cornell University)|2021. 10. 08.

Speech Recognition and Synthesis참고 문헌 19인용 수 11

한 줄 요약

이 논문은 화자 조건층 정규화(SCLN)와 글로벌 스타일 토큰(GST)를 활용한 준감독 학습을 통해 제어 가능한 화자 간 감정 전이를 가능하게 하는 비자기적 텍스트-음성 합성 모델을 제안한다. 감정 토큰을 교차 엔트로피 손실과 준감독 학습을 통해 활용함으로써, 기존 모델 대비 높은 톤 유사도와 향상된 안정성 및 감정 인식을 달성하였으며, 주관적 평가와 안정성 지표에서 기존 연구를 능가한다.

ABSTRACT

In expressive speech synthesis, there are high requirements for emotion interpretation. However, it is time-consuming to acquire emotional audio corpus for arbitrary speakers due to their deduction ability. In response to this problem, this paper proposes a cross-speaker emotion transfer method that can realize the transfer of emotions from source speaker to target speaker. A set of emotion tokens is firstly defined to represent various categories of emotions. They are trained to be highly correlated with corresponding emotions for controllable synthesis by cross-entropy loss and semi-supervised training strategy. Meanwhile, to eliminate the down-gradation to the timbre similarity from cross-speaker emotion transfer, speaker condition layer normalization is implemented to model speaker characteristics. Experimental results show that the proposed method outperforms the multi-reference based baseline in terms of timbre similarity, stability and emotion perceive evaluations.

연구 동기 및 목표

• 자신의 화자에 대해 감정 데이터가 제한된 상황에서, 감정 코퍼스가 있는 원천 화자로부터 목표 화자로 감정 전이를 가능하게 하여, 애너테이션 없이도 다양한 화자에 대해 감정 전이를 수행하고자 한다.
• 화자 불일치로 인해 흔히 악화되는 감정 전이 시 톤 유사도를 유지하고자 한다.
• 감정 토큰의 준감독 학습을 통해 학습된 감정 표현의 제어 가능성과 해석 가능성 향상을 위해 노력한다.
• 화자 조건층 정규화(SCLN)를 통합하여 화자와 감정 요소를 분리함으로써 합성의 안정성과 자연스러움을 향상시키고자 한다.
• 자기적 모델 대비 더 나은 특징 분리와 감소된 특징 유출을 가능하게 하는 비자기적 TTS 프레임워크를 개발하고자 한다.

제안 방법

• Transformer 기반 텍스트 인코더와 비자기적 스펙트로그램 디코더를 갖춘 병렬 Tacotron 기반 아키텍처를 사용한다.
• 화자 및 감정 인식 입력을 갖춘 지속 시간 예측기로, 1D 컨볼루션 레이어와 Transformer 블록을 사용하여 음소 지속 시간을 예측한다.
• 각 LConv 및 피드포워드 레이어 이후에 화자 조건층 정규화(SCLN)를 적용하며, 화자 임베딩이 정규화 파라미터(스케일 및 바이어스)를 조건부로 조절한다.
• 기준 인코더를 통해 메르-스펙트로그램 임베딩을 추출하고, 이를 학습된 감정 토큰에 대해 어텐션을 적용하는 쿼리로 사용하여 가중 감정 임베딩을 생성한다.
• 감정 토큰에 대해 교차 엔트로피 손실을 적용한 준감독 학습 전략을 구현하여, 이해 가능하고 제어 가능한 감정 표현 학습을 가능하게 한다.
• 음성 품질, 지속 시간 정확도, 감정 제어를 동시에 최적화하기 위해 복구 손실, 지속 시간 예측 손실, 감정 분류기 손실의 조합으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 준감독 학습된 글로벌 스타일 토큰이 화자 간 감정 전이에서 더 이해 가능하고 제어 가능한 감정 표현을 가능하게 하는가?
• RQ2 화자 조건층 정규화(SCLN)가 화자 간 감정 전이 중 톤 유사도를 효과적으로 유지하는가?
• RQ3 제안된 비자기적 모델이 자기적 기준 모델 대비 특징 분리와 안정성 측면에서 어떻게 비교되는가?
• RQ4 제안된 방법이 다중 기준 및 기준 모델 대비 감정 인식과 합성 안정성 측면에서 얼마나 향상되었는가?
• RQ5 다양한 감정에 대해 화자 정체성과 감정 표현력을 유지하면서 일반화 가능한가?

주요 결과

• 제안된 방법은 평균 톤 유사도 점수 3.66을 기록하여 기준 모델(3.28)과 M1(3.51)을 크게 앞서며, M1 대비 전체 톤 유사도에서 0.15 향상되었다.
• 흐린 음성 안정성 지표에서 제안된 방법은 오류율을 10.00%로 낮추어 기준 모델(25.67%) 대비 15.67%p 절감하였다.
• 제안된 방법은 총 안정성 오류율 18.33%를 기록하여 기준 모델(32.67%) 대비 14.34%p 감소시켜 더 뛰어난 합성 신뢰성을 나타냈다.
• 감정 인식 평가에서 제안된 방법은 53.24%의 선호도 점수를 기록하여 기준 모델(40.57%)보다 유의미하게 높았으며, p값 < 0.01로 강력한 사용자 선호도를 보였다.
• 절단 실험 결과 SCLN이 슬프고 분노한 감정과 같은 도전적인 감정에서 톤 유사도 향상에 기여하며, 준감독 학습이 감정 인식을 희생시키지 않고도 안정성을 향상시킴을 확인하였다.
• 비록 약간 낮은 톤 유사도를 보였지만, SCLN 없이 준감독 전략만 사용하는 M2(총 오류율 27.30%)보다 안정성에서 뛰어난 성능(18.33% 대비 27.30%)을 기록하여, 실세계 적용에 있어 SCLN의 중요성을 확인하였다.