[논문 리뷰] Multi-instrument Music Synthesis with Spectrogram Diffusion

Curtis Hawthorne, Ian Simon외 5명|arXiv (Cornell University)|2022. 06. 11.

Music and Audio Processing인용 수 15

한 줄 요약

이 논문은 MIDI 시퀀스를 고해상도 오디오로 변환하면서 노트 수준의 제어가 가능한 실시간 다중 악기 음악 합성 시스템을 제안한다. Denoising Diffusion Probabilistic Models (DDPM)로 훈련된 Transformer 기반의 MIDI-to-spectrogram 디코더와 GAN 기반의 스펙트로그램 인버터를 조합함으로써, 자동회귀 기반 기준 모델 대비 우수한 오디오 품질과 세그먼트 경계를 넘어서는 시간적 일관성을 달성한다.

ABSTRACT

An ideal music synthesizer should be both interactive and expressive, generating high-fidelity audio in realtime for arbitrary combinations of instruments and notes. Recent neural synthesizers have exhibited a tradeoff between domain-specific models that offer detailed control of only specific instruments, or raw waveform models that can train on any music but with minimal control and slow generation. In this work, we focus on a middle ground of neural synthesizers that can generate audio from MIDI sequences with arbitrary combinations of instruments in realtime. This enables training on a wide range of transcription datasets with a single model, which in turn offers note-level control of composition and instrumentation across a wide range of instruments. We use a simple two-stage process: MIDI to spectrograms with an encoder-decoder Transformer, then spectrograms to audio with a generative adversarial network (GAN) spectrogram inverter. We compare training the decoder as an autoregressive model and as a Denoising Diffusion Probabilistic Model (DDPM) and find that the DDPM approach is superior both qualitatively and as measured by audio reconstruction and Fréchet distance metrics. Given the interactivity and generality of this approach, we find this to be a promising first step towards interactive and expressive neural synthesis for arbitrary combinations of instruments and notes.

연구 동기 및 목표

• 임의의 악기 조합과 노트 조합에 대해 고해상도 오디오를 생성할 수 있는 실시간 상호작용형 신경 합성기 개발
• 기존 신경 합성기에서의 제어성과 일반성 간의 상충 관계를 극복하기 위해 일반적이고 데이터 효율적인 아키텍처 사용
• 자동회귀 디코딩을 디퓨전 모델링으로 대체하여 스펙트로그램 기반 합성에서 오디오 품질과 시간적 일관성을 향상
• 이전에 생성된 스펙트로그램에 대한 조건부 조건화를 통해 세그먼트 경계를 넘어서 일관된 오디오 생성 구현
• 실제 녹음본과 합성 데이터를 포함한 다양한 쌍화된 오디오/MIDI 데이터셋에 대해 단일 모델을 훈련시킬 수 있음을 입증

제안 방법

• 모델은 두 단계 파이프라인을 사용한다: 먼저, Transformer 인코더-디코더가 MIDI 노트 이벤트를 스펙트로그램으로 변환하며, 디코더는 Denoising Diffusion Probabilistic Models (DDPM)로 훈련된다.
• DDPM 디코더는 반복적으로 노이즈가 첨가된 가우시안 노이즈를 정제하여 고해상도 스펙트로그램을 생성하며, 이는 프레임 단위 자동회귀 디코딩보다 품질 향상을 이룬다.
• 5초 길이의 오디오 세그먼트 간 시간적 연속성을 확보하기 위해, 두 번째 인코더 스택이 이전에 생성된 세그먼트의 스펙트로그램에 기반한 조건부 입력을 디코더에 제공한다.
• 추론 단계에서 생성된 스펙트로그램은 MelGAN과 유사한 GAN 기반 보코더를 사용해 웨이브폼으로 복원된다.
• 모델은 실제 녹음본(예: Guitarset, URMP)과 합성 데이터를 포함한 다양한 쌍화된 오디오/MIDI 데이터셋에서 훈련되어, 악기와 음향 설정 간의 일반화를 가능하게 한다.
• 추가적인 컨텍스트 입력을 처리하기 위해 모델 용량을 '베이스' 아키텍처로 확장하여 경계 아티팩트를 감소시키고 오디오 품질을 향상시켰다.

실험 결과

연구 질문

• RQ1 일괄적인, 일반적인 Transformer 기반 모델이 MIDI 입력으로부터 임의의 악기 조합에 대해 고해상도 오디오를 효과적으로 합성할 수 있는가?
• RQ2 스펙트로그램 디코더를 DDPM로 훈련시키는 것이 자동회귀 디코딩 대비 오디오 품질과 청각 일관성 측면에서 우수한가?
• RQ3 이전 스펙트로그램 세그먼트에 대한 컨텍스트 조건화가 연속적인 오디오 생성에서 세그먼트 경계의 청취 가능한 아티팩트를 효과적으로 제거할 수 있는가?
• RQ4 다양한 데이터셋에서 훈련된 통합 모델이 실제 녹음본, 특히 fret 노이즈나 바이브라토와 같은 미세한 연주 기교까지 일반화할 수 있는 정도는 어느 정도인가?
• RQ5 표준 평가 지표인 Fréchet Audio Distance와 Transcription F1을 사용해 자동회귀 기준 모델과 비교했을 때 모델의 성능은 어떻게 되는가?

주요 결과

• DDPM 기반 디코더는 정성적 및 정량적 평가에서 자동회귀 기준 모델을 모두 압도했으며, 최고의 Fréchet Audio Distance (FAD) 및 Transcription F1 점수를 기록했다.
• 이전 스펙트로그램 세그먼트에 대한 컨텍스트 조건화를 추가함으로써 세그먼트 경계의 아티팩트가 제거되었고, 장시간 오디오 생성에서 시간적 일관성이 크게 향상되었다.
• 검증 세트에서 모델은 Transcription F1 점수를 거의 1.0에 도달하여 목표 스펙트로그램의 거의 완벽한 재구성을 보였다. 다만 오디오 품질은 원본 웨이브폼 수준에는 미치지 못했다.
• 특히, 명시적인 속도나 연주 기교 조건화 없이도 기타 녹음에서 자연스러운 fret 노이즈와 오케스트라 악기에서의 바이브라토를 효과적으로 합성했다.
• 스펙트로그램 복원 단계를 거치더라도 모델은 실시간 추론보다 略 빠르게 작동하여 상호작용형 응용 프로그램에 적합했다.
• 검증 세트에서 과적합 현상이 관찰되지 않아, 더 큰 모델을 사용하면 오디오 품질을 추가로 향상시킬 수 있을 것으로 보인다.