[논문 리뷰] Learning Singing From Speech

Liqiang Zhang, Chengzhu Yu외 6명|arXiv (Cornell University)|2019. 12. 20.

Speech Recognition and Synthesis참고 문헌 16인용 수 10

한 줄 요약

이 논문은 정상적인 음성 샘플만으로도 이식 가능한 발화자 임베딩을 학습하는 통합된 음성 및 노래 합성 프레임워크를 제안한다. 이는 목표 발화자의 노래 데이터가 전혀 필요 없이도 고품질의 노래 음성 변환을 가능하게 한다. DurIAN-4S를 사용해 음성과 노래 데이터를 함께 훈련함으로써, 공유되는 발화자 임베딩과 추가적인 음향 특징(f0 및 RMSE)을 활용하여 목표 발화자의 톤과 유사한 자연스러운 노래 음성을 합성한다.

ABSTRACT

We propose an algorithm that is capable of synthesizing high quality target speaker's singing voice given only their normal speech samples. The proposed algorithm first integrate speech and singing synthesis into a unified framework, and learns universal speaker embeddings that are shareable between speech and singing synthesis tasks. Specifically, the speaker embeddings learned from normal speech via the speech synthesis objective are shared with those learned from singing samples via the singing synthesis objective in the unified training framework. This makes the learned speaker embedding a transferable representation for both speaking and singing. We evaluate the proposed algorithm on singing voice conversion task where the content of original singing is covered with the timbre of another speaker's voice learned purely from their normal speech samples. Our experiments indicate that the proposed algorithm generates high-quality singing voices that sound highly similar to target speaker's voice given only his or her normal speech samples. We believe that proposed algorithm will open up new opportunities for singing synthesis and conversion for broader users and applications.

연구 동기 및 목표

• 목표 발화자의 정상적인 음성 샘플만을 사용해 고품질의 노래 음성 합성을 가능하게 하여, 비용이 많이 드는 노래 데이터가 필요 없도록 하는 것.
• 음성과 노래 합성을 하나의 프레임워크로 통합하여 양 측면에서 발화자 임베딩을 공유하는 것.
• 음성에서 학습한 발화자 임베딩이 노래 음성 변환에 효과적으로 일반화되는지 조사하는 것.
• f0와 RMSE를 추가 입력으로 포함했을 때 노래 음성 변환 품질과 톤 유사도 향상에 미치는 영향을 평가하는 것.
• 발화자 모델링을 위해 단지 음성 데이터만을 사용하는 비지도 노래 음성 변환의 가능성에 대한 증명

제안 방법

• DurIAN-4S라는 통합 자동귀사 모델을 음성과 노래 데이터에 대해 동시에 훈련시켜 발화자 임베딩을 공동으로 학습한다.
• 음소 시퀀스, 발화자 임베딩, 프레임 단위의 f0와 RMSE를 조건부 입력으로 사용해 음성과 노래 양측의 멜스펙트로그램을 생성한다.
• 음성과 노래 작업 간에 공유되는 발화자 임베딩을 활용해 음성에서 노래로의 전이 학습을 가능하게 한다.
• 목표 발화자의 학습된 임베딩을 조건으로 설정하고 소스 노래 콘텐츠를 입력하여 훈련된 모델을 노래 음성 변환에 적용한다.
• 다양한 발화자 데이터에 맞춰 미세조정된 WaveRNN 보코더를 사용해 합성 안정성과 음질을 향상시킨다.
• 250,000 스텝 동안 온도 상승 학습률 스케줄을 사용한 Adam 최적화 기법을 적용하며, 인코더와 포스트넷 모듈에 배치 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 정상적인 음성에서 학습한 발화자 임베딩이 노래 음성 합성 및 변환에 효과적으로 일반화되는가?
• RQ2 f0와 RMSE를 추가 입력으로 포함했을 때 변환된 노래 음성의 품질과 톤 유사도에 어떤 영향을 미치는가?
• RQ3 노래 샘플이 전혀 없는 경우, 음성 샘플만을 사용해도 실제 노래 데이터로 훈련된 모델 수준의 노래 음성 변환 성능을 얼마나 달성할 수 있는가?
• RQ4 음성에서 유도된 발화자 임베딩을 사용할 경우, 합성된 노래 음성의 자연스러움과 유사도에 어떤 영향을 미치는가?
• RQ5 음성과 노래 합성을 통합한 프레임워크가 병렬 또는 쌍화된 노래 데이터가 전혀 없이도 고품질의 노래 음성 변환을 달성할 수 있는가?

주요 결과

• 노래 데이터 없이도 음성 샘플만을 사용한 노래 음성 변환에서 톤 유사도에 대한 평균 평가 점수(MOS)는 3.49, 자연스러움은 3.42를 기록하여, 노래 데이터 없이도 뛰어난 성능을 보였다.
• RMSE를 추가 입력으로 사용함으로써 자연스러움과 유사도가 모두 향상되었으며, 음성 샘플을 사용할 경우 MOS가 자연스러움 2.77에서 3.42로, 유사도 2.84에서 3.49로 상승했다.
• 실제 노래 샘플을 목표 데이터로 사용했을 경우, 유사도 MOS는 3.65, 자연스러움 MOS는 3.80를 기록하여, 음성 기반 변환이 노래 기반 훈련 성능에 매우 가까운 수준임을 보였다.
• RMSE 추가로 인해 모델이 장음의 모음 길이와 음량을 더 잘 포착하여, 장음에서의 발음과 발화 정확도가 향상되었다.
• 제안된 방법은 새로운 음성 합성을 위한 데이터 요구량을 크게 줄이며 고품질의 노래 음성 변환을 가능하게 했다.
• 공유된 발화자 임베딩 프레임워크는 음성에서 유도된 발화자 특성을 효과적으로 노래로 전이시켜, 목표 발화자의 노래 데이터 없이도 효과적인 음성 변환을 가능하게 했다.