[논문 리뷰] Symbolic Music Generation with Diffusion Models

Gautam Mittal, Jesse Engel외 2명|arXiv (Cornell University)|2021. 03. 30.

Music and Audio Processing참고 문헌 48인용 수 9

한 줄 요약

이 논문은 사전에 훈련된 변동형 자료 압축기(VAE)로부터 유도된 연속 잠복 변수에 기반해 훈련된 확산 모델을 제안함으로써, 장기간의 멜로디 시퀀스를 비순차적이고 병렬적으로 생성할 수 있도록 한다. 이 방법은 조건부 및 무조건적 인페일링 성능에서 기존 순차적 모델인 TransformerMDN보다도 뛰어난 품질과 구조적 일관성을 달성한다.

ABSTRACT

Score-based generative models and diffusion probabilistic models have been successful at generating high-quality samples in a variety of continuous domains. However, due to their Langevin-inspired sampling mechanisms, their application to discrete symbolic music data has been limited. In this work, we present a technique for training diffusion models on symbolic music data by parameterizing the discrete domain in the continuous latent space of a pre-trained variational autoencoder. Our method is non-autoregressive and learns to generate sequences of latent embeddings through the reverse process and offers parallel generation with a constant number of iterative refinement steps. We show strong unconditional generation and post-hoc conditional infilling results compared to autoregressive language models operating over the same continuous embeddings.

연구 동기 및 목표

• 기존에 이산적인 심볼릭 음악 데이터는 표준 연속 영역의 확산 샘플링과 호환되지 않기 때문에, 확산 모델이 고품질의 심볼릭 음악을 생성할 수 있도록 하는 것.
• 이산 공간에서 랭글레인 기반 샘플링의 한계를 극복하기 위해 사전에 훈련된 VAE를 통해 심볼릭 음악을 연속 잠복 공간으로 매핑하는 것.
• VAE 잠복 변수에 기반해 훈련된 확산 모델이 장기적이고 일관된 음악 시퀀스를 생성할 수 있음을 보여주는 것.
• 잠복 공간에서 부분적인 시퀀스를 조건으로 하여 사후 조건부 생성(예: 인페일링)을 가능하게 하는 것.
• 확산 모델이 강력한 순차적 기반 모델인 TransformerMDN과 비교하여 잠복 표현에서의 성능을 평가하는 것.

제안 방법

• 이 방법은 2마디 멜로디용 사전에 훈련된 MusicVAE를 사용하여 이산적인 MIDI 시퀀스를 연속 잠복 코드로 매핑함으로써, 이산적인 음악을 연속 잠복 공간으로 변환한다.
• 이 연속 잠복 변수에 대해 노이즈 제거 확산 확률 모델(DDPM)을 훈련시켜, 점진적으로 노이즈를 첨가하는 전방 확산 과정을 뒤집는 방식으로 학습한다.
• 샘플링은 표준 정규 분포에서 시작하여 역확산 과정을 통해 반복적으로 개선함으로써 잠복 시퀀스를 생성하고, 이를 다시 MIDI로 디코딩한다.
• 시간에 따라 변화하는 노이즈 스케줄과 각 확산 단계에서 첨가된 노이즈를 예측하는 손실 기반의 노이즈 제거 손실을 사용하며, 예측된 노이즈와 진짜 노이즈 간의 L2 손실을 최소화한다.
• 조건부 인페일링을 위해, 역확산 샘플링 중에 첫 번째와 마지막 부분 시퀀스의 잠복 변수를 고정함으로써, 누락된 부분을 일관적으로 보완할 수 있도록 한다.
• 고정된 수의 개선 단계를 통해 비순차적 생성을 가능하게 하여, 순차적 모델보다 더 빠른 추론과 병렬 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존에 이산적인 심볼릭 음악 데이터는 일반적으로 연속 영역의 확산 샘플링과 호환되지 않기 때문에, 확산 모델이 이들 데이터에 효과적으로 적용될 수 있는가?
• RQ2 VAE가 학습한 연속 잠복 변수에 기반해 훈련된 확산 모델이 순차적 모델보다 더 높은 품질과 더 뛰어난 구조적 일관성을 갖는 음악 생성을 가능하게 하는가?
• RQ3 제안된 방법이 인페일링과 같은 사후 조건부 생성을 지원할 수 있는가? 즉, 맥락을 바탕으로 누락된 음악 부분을 보완할 수 있는가?
• RQ4 잠복 공간 내의 반복적 개선 과정이 시간이 지남에 따라 샘플 품질과 구조적 일관성에 어떤 영향을 미치는가?
• RQ5 특히 노출 오차 감소 측면에서, 확산 모델이 TransformerMDN과 같은 순차적 기반 모델보다 연속 잠복 변수의 계층적 모델링에서 뛰어난 성능을 보이는가?

주요 결과

• 확산 모델은 1024 토큰(64마디)의 고품질 무조건적 멜로디 시퀀스를 강력한 구조적 일관성과 음악적 유창성로 생성한다.
• 모델은 일관성 및 분산 유사도 지표에서 순차적 기반 모델인 TransformerMDN을 모두 초월하여, 잠복 표현의 계층적 모델링이 뛰어나다는 것을 입증한다.
• 32마디의 간격을 인페일링하는 사후 조건부 생성은 실제 음악과 유사한 높은 일관성과 분산 유사도를 달성하며, 잠복 보간법과 독립적 사전 샘플링보다 뛰어난 성능을 보인다.
• 잠복 지표는 개선 과정 동안 점진적으로 향상되며, 프레임 단위 자기 유사도 지표는 초기 단계에서 안정성을 보이고 분산 유사도 지표는 후기 단계에서만 나타나므로, 점진적인 품질 향상이 이루어지는 것으로 나타난다.
• 고정된 수의 개선 단계를 통해 병렬 생성이 가능하며, 샘플 품질을 희생시키지 않고도 순차적 모델보다 더 빠른 추론 속도를 제공한다.