[논문 리뷰] Chunked Autoregressive GAN for Conditional Waveform Synthesis

Max Morrison, Rithesh Kumar외 4명|arXiv (Cornell University)|2021. 10. 19.

Music and Audio Processing참고 문헌 44인용 수 6

한 줄 요약

이 논문은 대규모 오디오 청크를 순차적으로 생성함으로써 자동회귀 모델의 고해상도 성능과 GAN의 빠른 추론 성능을 결합한 조건부 웨이브포맷 합성 모델인 Chunked Autoregressive GAN(CARGAN)을 제안한다. CARGAN은 최신 GAN 모델 대비 피치 오차를 40–60% 감소시키고 학습 시간을 58% 단축시키며, 실시간 생성 속도를 유지하면서도 자동회귀적 인덕티브 바이어스를 통해 피치와 주기성을 더 잘 모델링함으로써 청취 품질을 향상시킨다.

ABSTRACT

Conditional waveform synthesis models learn a distribution of audio waveforms given conditioning such as text, mel-spectrograms, or MIDI. These systems employ deep generative models that model the waveform via either sequential (autoregressive) or parallel (non-autoregressive) sampling. Generative adversarial networks (GANs) have become a common choice for non-autoregressive waveform synthesis. However, state-of-the-art GAN-based models produce artifacts when performing mel-spectrogram inversion. In this paper, we demonstrate that these artifacts correspond with an inability for the generator to learn accurate pitch and periodicity. We show that simple pitch and periodicity conditioning is insufficient for reducing this error relative to using autoregression. We discuss the inductive bias that autoregression provides for learning the relationship between instantaneous frequency and phase, and show that this inductive bias holds even when autoregressively sampling large chunks of the waveform during each forward pass. Relative to prior state-of-the-art GAN-based models, our proposed model, Chunked Autoregressive GAN (CARGAN) reduces pitch error by 40-60%, reduces training time by 58%, maintains a fast generation speed suitable for real-time or interactive applications, and maintains or improves subjective quality.

연구 동기 및 목표

• GAN 기반 웨이브포맷 합성에서 지속적인 피치 및 주기성 아티팩트, 특히 멜스펙트로그램 복원 과정에서의 문제를 해결하기 위해.
• 비자기회귀 GAN에서 자동회귀적 인덕티브 바이어스가 생성 속도를 희생시키지 않고도 웨이브포맷 모델링 성능을 향상시킬 수 있는지 조사하기 위해.
• 주관적 음질을 유지하거나 향상시키면서도 조건부 웨이브포맷 합성에서 학습 시간과 메모리 소비를 줄이기 위해.
• 큰 청크에 걸쳐 인과적 자동회귀 조건부 처리를 활용하여 빠르고 실시간이며 스트리밍이 가능한 오디오 생성을 가능하게 하기 위해.
• 피치와 주기성 정확도가 일반 스펙트럼 정밀도를 초월하여 웨이브포맷 합성에서 청취 품질에 중요한 청각적 요소임을 입증하기 위해.

제안 방법

• CARGAN은 생성된 이전 세그먼트와 전체 조건 신호(예: 멜스펙트로그램)를 조건으로 하여 단일 순전파에서 큰 오디오 청크(예: 2048개 샘플)를 순차적으로 생성하는 생성자 구조를 사용한다.
• 각 청크 내에서 장거리 자동회귀적 의존성을 유지하기 위해 큰 수신장과 인과적 컨volution 구조를 사용하여 위상과 주파수 일관성을 보존한다.
• 진짜 오디오와 생성된 오디오를 구분하도록 훈련된 디스커미네이터를 사용하며, 피치 및 주기성 오류와 관련된 아티팩트 탐지에 중점을 둔다.
• 대부분의 손실과 함께 청취 품질을 향상시키기 위해 적합한 기본 주파수와 웨이브포맷 주기성 간의 정렬을 개선하기 위해 적합성 손실과 피치/주기성 정규화 손실을 결합한 훈련 목표를 설정한다.
• 청크 기반 자동회귀 인과 분해를 사용한다: p(x|c) = ∏_{i} p(x_{chunk_i} | x_{<i}, c), 여기서 각 청크는 순차적으로 생성되지만 큰 블록으로 생성되어 계산 오버헤드를 줄인다.
• 학습을 최적화하기 위해 시퀀스 길이를 단축시켰다(8192개 샘플 대비 2048개 샘플), 이로 인해 수렴 속도가 빨라지고 메모리 사용량이 감소한다.

실험 결과

연구 질문

• RQ1 청크 기반 비순차적 생성 방식을 사용하더라도 자동회귀적 인덕티브 바이어스가 GAN 기반 웨이브포맷 합성에서 피치 및 주기성 정확도를 향상시킬 수 있는가?
• RQ2 피치 및 주기성 오류가 GAN 기반 모델에서 주관적 음질과 얼마나 관련이 깊은가?
• RQ3 자기회귀 모델링과 GAN 학습을 융합한 하이브리드 접근 방식이 학습 시간과 메모리 사용량을 줄이면서도 빠른 추론 속도를 유지할 수 있는가?
• RQ4 자기회귀적 생성에서 청크 크기가 학습 속도, 추론 속도, 음질 간의 상충 관계에 어떻게 영향을 미치는가?
• RQ5 큰 청크에 걸쳐 자동회귀 조건부 처리를 사용할 경우, 표준 비자기회귀 GAN보다 위상과 주파수 관계를 더 잘 유지하는가?

주요 결과

• CARGAN은 최신 GAN 기반 모델 대비 피치 오차를 40–60% 감소시켜 음정 정확도를 크게 향상시켰다.
• HiFi-GAN 대비 학습 시간을 58% 단축시키고 메모리 사용량을 69% 감소시켰다. 이는 시퀀스 길이를 단축시켜(8192개 샘플 대비 2048개 샘플) 인해 발생한 결과이다.
• CARGAN은 GPU에서 10.7 RTF, CPU에서 0.45 RTF의 실시간 생성 속도를 유지하여 인터랙티브 또는 스트리밍 애플리케이션에 실용적으로 적용 가능하다.
• 주관적 평가 결과, CARGAN은 이전 GAN 기반 모델보다 더 높은 청취 품질을 달성했으며, 주기성 RMSE와 청취자 선호도 사이에 강한 상관관계를 보였다.
• 모델는 큰 청크를 생성함에도 불구하고 순순간 주파수와 위상 간 누적 관계를 더 잘 모델링할 수 있음을 보여주며 자동회귀적 인덕티브 바이어스의 효과를 입증했다.
• 청크 전환 지점에서 경계 아티팩트가 여전히 존재하여 향후 연구에서 청크 경계를 넘어서 부드러운 자동회귀 조건부 처리 개선이 필요하다.