[논문 리뷰] WaveGrad: Estimating Gradients for Waveform Generation

Nanxin Chen, Yu Zhang외 4명|arXiv (Cornell University)|2020. 09. 02.

Music and Audio Processing참고 문헌 59인용 수 44

한 줄 요약

WaveGrad는 확산/스코어 기반의 조건부 파형 생성기로, 데이터 밀도 기울기를 추정하여 고충실도 오디오를 비자기회귀 방식으로 생성하며, 자동회귀 기준에 근접한 품질을, 단 6회의 정제 단계로도 가능하고 추론이 더 빠름.

ABSTRACT

This paper introduces WaveGrad, a conditional model for waveform generation which estimates gradients of the data density. The model is built on prior work on score matching and diffusion probabilistic models. It starts from a Gaussian white noise signal and iteratively refines the signal via a gradient-based sampler conditioned on the mel-spectrogram. WaveGrad offers a natural way to trade inference speed for sample quality by adjusting the number of refinement steps, and bridges the gap between non-autoregressive and autoregressive models in terms of audio quality. We find that it can generate high fidelity audio samples using as few as six iterations. Experiments reveal WaveGrad to generate high fidelity audio, outperforming adversarial non-autoregressive baselines and matching a strong likelihood-based autoregressive baseline using fewer sequential operations. Audio samples are available at https://wavegrad.github.io/.

연구 동기 및 목표

• 자동회귀 모델을 넘어 빠르고 고품질의 파형 생성을 촉진.
• 데이터 밀도 기울기(스코어) 학습을 활용하여 조건부 오디오 분포를 모델링.
• 추론 속도와 샘플 품질 사이의 제어 가능한 트레이드오프를 갖는 비자기회귀 생성기 개발.
• 안정적인 추론을 위한 조건화 스키마 조사(연속 잡음 수준 대 이산 단계 인덱스).
• MOS 및 객관적 지표에서 자동회귀 및 비자기회귀 기준선과 비교 평가.

제안 방법

• 모델은 데이터 로그 밀도(스코어)의 그래디언트를 학습하고 추론에 Langevin 다이나믹스 유사 샘플러를 사용한다.
• 멜-스펙트로그램 조건부로 조건부 파형 생성을 위해 확산 확률 모델을 적응시킨다.
• 연속 노이즈 수준 ¯α에 조건화된 가중된 노이즈 제거 스코어 매칭 목표로 학습한다(이산 단계 인덱스 vs 연속).
• 가우시안 잡음에서 시작하여 yN에서 y0로 점진적으로 노이즈 제거하는 그래디언트 기반 샘플러를 사용한다.
• 아키텍처는 완전 합성곱이며 비자기회귀로, 병렬 추론을 가능하게 한다.
• 연속 노이즈 수준 조건화 대 이산 인덱스 조건화를 평가하고 노이즈 스케줄과 반복 횟수를 분석한다.

실험 결과

연구 질문

• RQ1 WaveGrad가 자기회귀 기준선에 필적하는 비자기회귀 프레임워크에서 고충실도 오디오를 생성할 수 있는가?
• RQ2 연속 노이즈 수준 조건화가 이산 단계 인덱스 조건화에 비해 유연성과 샘플 품질을 향상시키는가?
• RQ3 추론 반복 횟수의 증가가 오디오 품질과 속도에 미치는 영향은 무엇이며, 다양한 노이즈 스케줄이 성능에 어떤 영향을 미치는가?
• RQ4 WaveGrad는 자가 회귀 및 비자기회귀 기반의 기존 보코더와 MOS 및 객관적 지표에서 어떻게 비교되는가?

주요 결과

모델	MOS (↑)	비고
WaveRNN	4.49 ± 0.04	자기회귀 기준선
Parallel WaveGAN	3.92 ± 0.05	비자기회귀 기준선
MelGAN	3.95 ± 0.06	비자기회귀 기준선
Multi-band MelGAN	4.10 ± 0.05	비자기회귀 기준선
GAN-TTS	4.34 ± 0.04	비자기회귀 기준선
WaveGrad Base (6 iterations, continuous)	4.41 ± 0.03	연속 조건화
WaveGrad Base (1,000 iterations, discrete indices)	4.47 ± 0.04	이산 조건화
WaveGrad Large (1,000 iterations, discrete indices)	4.51 ± 0.04	이산 조건화
Ground Truth	4.58 ± 0.05	참고값

• WaveGrad는 MOS에서 자기회귀 WaveRNN 기준선과 일치하거나 상회하며, 여러 비자기회귀 기준선을 능가한다.
• 연속 노이즈 조건화 하에 6회의 추론 반복은 고충실도 오디오(MOS ~4.41)와 NVIDIA V100 GPU에서의 실시간 인자(RTF) 0.2를 달성한다.
• 이산 인덱스 조건화 변형은 일정에 따라 모델을 각각 학습해야 하지만, 연속 노이즈 조건화는 단일 모델로 여러 일정 지도를 지원하게 한다.
• 연속 노이즈 조건화는 일반화가 더 잘되고 몇 번의 반복에서도 품질을 유지한다는 점에서 이산 조건화보다 우수하다.
• 6회 반복의 WaveGrad Base는 1,000회 반복의 이산 모델과 비견되는 MOS를 달성하면서도 추론을 크게 가속한다(RTF 0.2).
• 전반적으로 WaveGrad는 같은 GPU에서의 WaveRNN(대략 RTF 20.1)보다 훨씬 적은 순차 작업으로 고충실도 오디오를 생성할 수 있다.