[논문 리뷰] DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism

Jinglin Liu, Chengxi Li외 3명|arXiv (Cornell University)|2021. 05. 06.

Music and Audio Processing인용 수 35

한 줄 요약

DiffSinger는 SVS에 확산 확률 모델을 사용하여 과도한 평활화를 줄이고 학습을 안정시키며, 간단한 멜-스펙트로그램 디코더와의 교차점에서 역과정을 시작하는 얕은 확산 메커니즘을 도입해 품질과 추론 속도를 향상시킨다.

ABSTRACT

Singing voice synthesis (SVS) systems are built to synthesize high-quality and expressive singing voice, in which the acoustic model generates the acoustic features (e.g., mel-spectrogram) given a music score. Previous singing acoustic models adopt a simple loss (e.g., L1 and L2) or generative adversarial network (GAN) to reconstruct the acoustic features, while they suffer from over-smoothing and unstable training issues respectively, which hinder the naturalness of synthesized singing. In this work, we propose DiffSinger, an acoustic model for SVS based on the diffusion probabilistic model. DiffSinger is a parameterized Markov chain that iteratively converts the noise into mel-spectrogram conditioned on the music score. By implicitly optimizing variational bound, DiffSinger can be stably trained and generate realistic outputs. To further improve the voice quality and speed up inference, we introduce a shallow diffusion mechanism to make better use of the prior knowledge learned by the simple loss. Specifically, DiffSinger starts generation at a shallow step smaller than the total number of diffusion steps, according to the intersection of the diffusion trajectories of the ground-truth mel-spectrogram and the one predicted by a simple mel-spectrogram decoder. Besides, we propose boundary prediction methods to locate the intersection and determine the shallow step adaptively. The evaluations conducted on a Chinese singing dataset demonstrate that DiffSinger outperforms state-of-the-art SVS work. Extensional experiments also prove the generalization of our methods on text-to-speech task (DiffSpeech). Audio samples: https://diffsinger.github.io. Codes: https://github.com/MoonInTheRiver/DiffSinger. The old title of this work: "Diffsinger: Diffusion acoustic model for singing voice synthesis".

연구 동기 및 목표

• SVS 음향 모델의 과도한 평활화와 불안정한 학습 문제를 해결한다.
• 대립적 손실 없이 ELBO로 훈련되는 확산 기반의 SVS 모델(DiffSinger)을 제안한다.
• 사전의 간단한 손실 지식을 활용하기 위한 얕은 확산 메커니즘을 도입한다.
• 얕은 확산 시작 단계를 적응적으로 결정하는 경계 예측 네트워크를 개발한다.
• DiffSpeech를 통한 TTS의 일반화를 보여준다.

제안 방법

• 음악 악보에서 멜 스펙트로그램을 생성하는 조건부 확산 과정으로 SVS를 모델링한다.
• 잡음 예측자를 이용해 ELBO를 최소화하는 변분 하한(ELBO)을 통해 확산 모델을 학습한다.
• 추론 시 보조 멜 디코더를 사용해 ￿M￿_k를 생성한 다음 얕은 확산 단계 k에서 시작하고 k개의 디노이징 단계를 수행한다.
• 경계 예측기를 도입하여 ground-truth M과 보조 ￿\\widetilde{M}\\u007f의 확산 궤적 사이의 교차 지점 k를 적응적으로 결정한다.
• 음악 악보에 조건을 맞추기 위해 가사, 길이 조절기, 피치 구성 요소를 갖춘 인코더를 채택한다.
• 비인과 WaveNet 기반의 denoiser와 ￿M￿ 생성을 위한 보조 FFT 기반 멜 스펙트로그램 디코더를 사용한다.
• 영어 TTS 작업을 위한 DiffSpeech 확장 적용을 제공합니다.

실험 결과

연구 질문

• RQ1 확산 모델이 대립적 학습 없이도 음악 악보에서 자연스러운 노래 음성을 생성할 수 있는가?
• RQ2 얕은 확산 시작점이 SVS의 합성 품질과 추론 속도를 개선하는가?
• RQ3 경계 예측기가 최적의 얕은 확산 단계 k를 적응적으로 결정할 수 있는가?
• RQ4 이 접근 방식이 SVS를 넘어 TTS(DiffSpeech)로 일반화되는가?

주요 결과

• DiffSinger는 중국어 노래 데이터셋에서 GAN-Singer 및 FFT-Singer보다 MOS가 높아 최첨단 SVS 시스템을 능가한다(3.85대 3.74 및 3.67).
• 단순 확산(얕은 확산 미도입)은 MOS가 3.71인 반면, 얕은 확산을 사용하는 DiffSinger는 3.85를 달성한다.
• 얕은 확산 메커니즘은 추론 속도를 45.1% 단축시킨다(RTF 0.191 대 0.348).
• 경계 예측기가 k를 효과적으로 선택한다; 예측된 k를 사용할 때 고정된 k나 대체 k를 사용할 때보다 MOS가 더 좋다.
• LJSpeech에 대한 확장 실험에서 DiffSpeech가 FastSpeech 2 및 Glow-TTS에 비해 MOS를 향상시키고, 순수 확산에 비해 29.2%의 속도 향상을 보인다.