[논문 리뷰] Fine-grained style control in Transformer-based Text-to-speech Synthesis

Liwei Chen, Alexander I. Rudnicky|arXiv (Cornell University)|2021. 10. 12.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 참조 음성에서 wav2vec 2.0 특징을 통해 추출한 국소적 스타일 토큰(LST)을 도입하여, 컨텐츠 유출을 줄이고 자연스러움, 이해 가능성 및 스타일 전이 능력을 향상시키는 새로운 Transformer 기반 텍스트-to-스피치(TTS) 시스템을 제안한다. 컨텐츠와 스타일 표현을 융합하기 위해 크로스-어텐션 블록을 사용하며, 추가 정규화 없이도 LJ Speech 및 VCTK 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we present a novel architecture to realize fine-grained style control on the transformer-based text-to-speech synthesis (TransformerTTS). Specifically, we model the speaking style by extracting a time sequence of local style tokens (LST) from the reference speech. The existing content encoder in TransformerTTS is then replaced by our designed cross-attention blocks for fusion and alignment between content and style. As the fusion is performed along with the skip connection, our cross-attention block provides a good inductive bias to gradually infuse the phoneme representation with a given style. Additionally, we prevent the style embedding from encoding linguistic content by randomly truncating LST during training and using wav2vec 2.0 features. Experiments show that with fine-grained style control, our system performs better in terms of naturalness, intelligibility, and style transferability. Our code and samples are publicly available.

연구 동기 및 목표

• Transformer 기반 텍스트-to-스피치 합성에서 프로소디, 발화 속도, 음량과 같은 세밀한 발화 스타일 제어를 가능하게 하기 위해.
• 학습 중 언어적 컨텐츠가 스타일 임베딩에 뒤섞여 유출되는 컨텐츠 유출 문제를 해결하기 위해.
• 전반적인 스타일 임베딩에만 의존하지 않고, 시간에 따라 변하는 프레임 수준의 프로소디 변형을 포괄하는 스타일 표현을 설계하기 위해.
• 스킵 연결을 갖춘 크로스-어텐션 메커니즘을 통해 컨텐츠와 스타일 표현을 융합함으로써 음성 품질과 스타일 전이 능력을 향상시키기 위해.
• 시스템이 다중 화자 환경에서 일반화되며, 감정 또는 스타일 레이블 없이도 제로샷 스타일 전이를 가능하게 하기 위해.

제안 방법

• 스타일 네트워크는 참조 음성에서 wav2vec 2.0를 특징 추출기로 사용하여, 컨텐츠 유출을 줄이는 강력하고 분리된 표현을 제공한다.
• 국소적 스타일 토큰(LST)은 가속 가능한 코드북과 다중 헤드 어텐션을 통해 학습되며, 프레임 수준의 스타일 임베딩 시퀀스를 생성한다.
• 크로스-어텐션 블록은 발음자음 표현과 LST 임베딩을 융합하여, 스킵 연결과 인덕티브 바이어스를 통해 점진적인 스타일 통합을 가능하게 한다.
• 컨텐츠 유출은 학습 중 LST를 무작위로 잘라내고, 원시 웨이브폼이나 스펙트로그램 대신 wav2vec 2.0 특징을 사용함으로써 완화된다.
• 컨텐츠 네트워크는 발음자음 임베딩과 레이어 정규화만을 사용하며, 디코더 네트워크는 MultiSpeech와 유사하다.
• 디코더는 컨텐츠와 스타일 표현에 조건을 걸어, 발화 스타일을 독립적으로 조작할 수 있도록 한다.

Fig. 1 : Overview of our LST-TTS system.

실험 결과

연구 질문

• RQ1 컨텐츠 유출 없이도, Transformer 기반 TTS 시스템에 세밀하고 프레임 수준의 발화 스타일 제어를 효과적으로 통합할 수 있는가?
• RQ2 컨텐츠와 스타일 표현 간의 제안된 크로스-어텐션 융합 메커니즘이 음성의 자연스러움과 이해 가능성에 어떤 영향을 미치는가?
• RQ3 시스템은 참조 음성에서의 미세한 프로소디 변형, 예를 들어 발화 속도와 음량을 합성 음성으로 얼마나 잘 전이할 수 있는가?
• RQ4 기존의 스펙트럼 기반 또는 임베딩 기반 입력 대비, wav2vec 2.0 특징을 표현 기반으로 사용할 경우 컨텐츠 유출이 감소하는가?
• RQ5 시스템은 다중 화자 환경에서 일반화되며, 감정 또는 스타일 레이블 없이도 높은 품질의 스타일 전이를 유지할 수 있는가?

주요 결과

• LST-A 버전은 LJ Speech에서 자연스러움에 대해 3.62 ± 0.09, 스타일 유사도에 대해 3.28 ± 0.10의 MOS를 기록하여, Tan 등 [10]의 이전 방법을 모두 초월했다.
• VCTK에서 LST-A 설정 하에 자연스러움은 3.75 ± 0.10, 스타일 유사도는 3.25 ± 0.12의 MOS를 유지하며 높은 성능을 기록했다.
• 사전 학습된 감정 인식 분류기(SER)를 사용해 감정 레이블을 68.4%의 정확도로 전이했으며, 감정 레이블에 대한 감독 없이도 효과적인 감정 패tern 전이가 가능함을 보여주었다.
• 학습 중 LST를 무작위로 잘라내는 방식(LST-R)을 적용해도 음성의 이해 가능성에 영향을 주지 않아, 스타일 제어가 순차적 의존성과 독립적임을 확인했다.
• SPK 버전은 컨텐츠 표현이 프로소디 정보를 포함하도록 조정되어 WER가 높아졌으며, 이는 정렬 학습에서의 더 높은 강건성임을 시사한다.
• 시스템은 다중 화자 환경에서도 잘 일반화되며, LST-A 및 LST-S 모두 VCTK에서 낮은 WER를 기록했고, 컨텐츠와 스타일 입력의 화자 정체성이 다를 경우에도 높은 스타일 유사도를 유지했다.