[논문 리뷰] A Spectral Energy Distance for Parallel Speech Synthesis

Alexey A. Gritsenko, Tim Salimans외 3명|arXiv (Cornell University)|2020. 08. 03.

Speech and Audio Processing참고 문헌 36인용 수 20

한 줄 요약

이 논문은 타당한 가능도 또는 적대적 훈련이 필요하지 않은 병렬 비자기적 음성 합성 모델을 훈련시키기 위한 스펙트럼 에너지 거리(Spectral Energy Distance, SED) 손실을 제안한다. 생성된 샘플 간의 반발 항을 포함함으로써 SED는 통계적 일致성을 보장하는 적절한 점수 규칙가 되며, 안정적이고 빠른 훈련을 가능하게 하며, 암묵적 생성 모델 중 최고 수준의 품질을 달성한다. 또한 GAN과 조합할 경우 성능이 더욱 향상된다.

ABSTRACT

Speech synthesis is an important practical generative modeling problem that has seen great progress over the last few years, with likelihood-based autoregressive neural models now outperforming traditional concatenative systems. A downside of such autoregressive models is that they require executing tens of thousands of sequential operations per second of generated audio, making them ill-suited for deployment on specialized deep learning hardware. Here, we propose a new learning method that allows us to train highly parallel models of speech, without requiring access to an analytical likelihood function. Our approach is based on a generalized energy distance between the distributions of the generated and real audio. This spectral energy distance is a proper scoring rule with respect to the distribution over magnitude-spectrograms of the generated waveform audio and offers statistical consistency guarantees. The distance can be calculated from minibatches without bias, and does not involve adversarial learning, yielding a stable and consistent method for training implicit generative models. Empirically, we achieve state-of-the-art generation quality among implicit generative models, as judged by the recently-proposed cFDSD metric. When combining our method with adversarial techniques, we also improve upon the recently-proposed GAN-TTS model in terms of Mean Opinion Score as judged by trained human evaluators.

연구 동기 및 목표

• 초당 음성 1초당 수만 번의 순차적 단계가 필요한 자기적 음성 합성 모델의 비효율성을 해결하기 위해.
• 분석 가능도 함수에 접근할 필요 없이 암묵적 생성 모델에 대해 안정적이고 적대적 훈련이 아닌 훈련 방법을 개발하기 위해.
• 스펙트로그램 분포를 기반으로 한 적절한 점수 규칙을 통해 병렬 음성 합성에서 샘플의 다양성과 생성 품질을 향상시키기 위해.
• 효율적인 네트워크 아키텍처와 적대적 훈련을 조합함으로써 더 빠르고 고품질의 음성 생성을 가능하게 하기 위해.

제안 방법

• 제안된 방법은 생성된 음성과 진짜 음성의 크기 스펙트로그램에 작용하는 일반화된 에너지 거리(GED)를 도입한다.
• 스펙트럼 에너지 거리는 생성된 샘플 간의 반발 항을 포함하여 다양성을 증진하고 통계적 일치성을 보장한다.
• 편향 없이 미니배치에서 손실를 계산함으로써 효율적이고 안정적인 최적화를 가능하게 한다.
• 추가적인 반발 성분을 포함한 다중 해상도 스펙트로그램 손실을 사용하여 비자기적 모델을 훈련한다.
• 더 빠른 추론을 위해 효율적인 오버랩-애드 업샘플링 모듈을 제안하고, 추가로 GAN 기반 훈련과 결합하여 품질 향상을 도모한다.
• 인간 평가자와 함께 cFDSD 지표와 평균 의견 점수(Mean Opinion Score, MOS)를 사용하여 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 통계적 일치성과 안정적인 수렴을 보장하는 가능도 기반 훈련 목표를 설계할 수 있는가?
• RQ2 생성된 샘플 간의 반발 항을 통합하면 암묵적 생성 모델에서 샘플의 다양성과 생성 품질이 향상되는가?
• RQ3 제안된 스펙트럼 에너지 거리는 청각적 품질과 지표 점수 측면에서 기존의 암묵적 모델을 초월할 수 있는가?
• RQ4 스펙트럼 에너지 거리를 적대적 훈련과 조합할 경우 음성 품질과 모델 안정성에 어떤 영향을 미치는가?
• RQ5 효율적인 아키텍처를 사용함으로써 더 빠른 추론을 가능하게 하면서도 고해상도 음성 생성을 유지할 수 있는가?

주요 결과

• 제안된 스펙트럼 에너지 거리는 cFDSD 지표에서 암묵적 생성 모델 중 최고 수준의 성능을 달성하여 뛰어난 샘플 품질과 다양성을 입증하였다.
• 적대적 학습과 조합했을 때, 평균 의견 점수(Mean Opinion Score, MOS)는 4.25±0.06을 기록하여 GED 단독 모델과 GAN-TTS 베이스라인을 모두 능가하였다.
• 스펙트럼 에너지 거리로 훈련된 iSTFT 생성기 아키텍처는 최소 10,000번의 파라미터 업데이트 내에 최적의 cFDSD 점수에 도달하였으며, 추론 속도는 GAN-TTS 생성기의 약 절반 수준이었다.
• 스펙트럼 에너지 거리로 훈련된 모델는 빠른 수렴을 보였으며, 10,000~20,000번의 업데이트 내에 양호한 성능을 달성하였지만, 정규화 없이 더 오래 훈련할 경우 과적합 현상이 발생하였다.
• 이 방법은 적대적 손실 없이도 안정적인 훈련을 가능하게 하였으며, 반발 항이 최적의 생성 품질을 확보하는 데 있어 실증적으로 필수적임을 입증하였다.
• 일반화된 에너지 거리는 반발 항을 포함한 유형의 첫 번째 적절한 점수 규칙이며, 이는 이전의 스펙트로그램 기반 손실과의 차별성을 둔다.