[논문 리뷰] Fast Diffusion GAN Model for Symbolic Music Generation Controlled by Emotions

Jincheng Zhang, György Fazekas외 1명|arXiv (Cornell University)|2023. 10. 21.

Music Technology and Sound Studies인용 수 4

한 줄 요약

이 논문은 기존의 수천 번의 단계가 필요한 최신 기술 기반 확산 모델에 비해 단 4단계의 노이즈 제거로 빠른 추론 시간을 확보하면서도 정밀한 감정 조절이 가능한 빠른 확산 GAN 모델을 제안한다. VAE로 학습된 임bedding과 GAN 기반의 노이즈 제거기(디노이징 네트워크)를 활용하여 고해상도의 감정 조절 가능 음악 생성을 실현하였으며, 네 사분면 감정 조절 과제에서 69.1%의 정확도를 기록하여 이전의 방법들을 능가한다.

ABSTRACT

Diffusion models have shown promising results for a wide range of generative tasks with continuous data, such as image and audio synthesis. However, little progress has been made on using diffusion models to generate discrete symbolic music because this new class of generative models are not well suited for discrete data while its iterative sampling process is computationally expensive. In this work, we propose a diffusion model combined with a Generative Adversarial Network, aiming to (i) alleviate one of the remaining challenges in algorithmic music generation which is the control of generation towards a target emotion, and (ii) mitigate the slow sampling drawback of diffusion models applied to symbolic music generation. We first used a trained Variational Autoencoder to obtain embeddings of a symbolic music dataset with emotion labels and then used those to train a diffusion model. Our results demonstrate the successful control of our diffusion model to generate symbolic music with a desired emotion. Our model achieves several orders of magnitude improvement in computational cost, requiring merely four time steps to denoise while the steps required by current state-of-the-art diffusion models for symbolic music generation is in the order of thousands.

연구 동기 및 목표

• 특정 감정 상태에 맞는 음악을 생성할 수 있도록 생성 모델의 감정 제어 능력을 향상시키는 데 목적을 두며, 특히 기호 음악 분야에서의 적용을 목표로 한다.
• 일반적인 기호 음악 생성에서 확산 모델이 수천 번의 노이즈 제거 단계를 요구함에 따라 발생하는 계산 비용 문제를 해결하고자 한다.
• 확산 모델과 GAN을 융합하여 더 빠른 추론 속도와 개선된 분포 커버리지로 고품질의 제어 가능한 음악 생성을 실현하고자 한다.
• 확산 모델이 감정 조건(정서 수준, valence 및 arousal)에 기반해 기호 음악을 생성할 수 있는지의 가능성을 탐색하고자 한다 — 이는 이 분야에서의 새로운 적용 사례이다.

제안 방법

• 기존에 학습된 변동형 자동차코더(Variational Autoencoder, VAE)를 사용하여 기호 음악을 연속적인 임베딩으로 인코딩하고, 이를 기반으로 확산 모델을 학습한다.
• 샘플링 과정을 가속화하기 위해 생성적 적대적 네트워크(GAN)를 노이즈 제거 네트워크로 통합하여 단 4단계의 시간 단계만으로도 생성이 가능하도록 한다.
• 감정 조건을 적용하기 위해 EMOPIA 데이터셋에서 제공하는 감정 레이블을 기반으로 다중 모odal 감정 모델을 활용해 노이즈 제거 네트워크를 감정 레이블에 조건화한다.
• 모델는 EMOPIA 데이터셋에서 유래한 임베딩을 기반으로 학습되며, 이 데이터셋은 네 사분면에 해당하는 정서 수준(Valence와 Arousal)으로 레이블링된 총 1,087개의 팝 피아노 클립을 포함한다.
• 잠재 공간 내 유사도 평가를 위해 Fréchet 거리(Fréchet Distance, FD)와 최대 평균 차이(Maximum Mean Discrepancy, MMD)를 사용하였으며, 4단계 내에서 원본 데이터 분포에 수렴하는 것으로 확인되었다.
• 감정 제어 성능 평가에는 자기 주도 어텐션(self-attention)을 갖춘 양방향 LSTM을 미세 조정하여 생성된 음악의 감정 내용을 분류하는 데 사용한다.

실험 결과

연구 질문

• RQ1 확산 모델이 기호 음악 생성에 효과적으로 적용될 수 있을까? 이때 고해상도의 샘플 품질과 동시에 매우 빠른 추론 성능도 유지할 수 있을까?
• RQ2 GAN 기반의 노이즈 제거기로 인해 기호 음악 생성을 위한 확산 모델의 노이즈 제거 단계를 단 4단계로 줄일 수 있을까? 이때 품질에 손상이 가지 않는가?
• RQ3 확산 모델이 정서적 특성(정서의 강도와 활성도, 즉 valence와 arousal)에 기반해 조건화되어, 특정 정서 목표에 부합하는 음악을 성공적으로 생성할 수 있을까?
• RQ4 기존의 최고 수준(SOTA) 기반 기호 음악 생성 모델과 비교했을 때, 제안된 모델은 감정 제어 정확도와 추론 효율성 측면에서 어떤 성과를 보일까?

주요 결과

• 제안된 모델은 네 사분면 감정 조절 과제에서 69.1%의 정확도를 기록하였으며, 이는 이전의 SOTA 방법(41.8%)을 크게 능가하는 성과이다.
• 활성도( arousal)만을 조절하는 데에는 90.6%의 정확도를 달성하여 활성도 조절 능력이 매우 뛰어나다는 것을 입증하였다.
• 모델는 단 4단계의 노이즈 제거 과정만으로도 고품질의 음악을 생성하였으며, 기존의 약 1,000단계가 필요한 표준 확산 모델 대비 계산 비용을 수 개의 주기수준으로 감소시켰다.
• Fréchet 거리와 MMD 지표를 통해 생성된 임베딩가 단 4단계 내에서 원본 데이터 분포와 매우 유사한 잠재 공간에 수렴하는 것으로 확인되었으며, 이는 고품질의 샘플 생성을 의미한다.
• t-SNE 시각화 결과, 동일한 감정 클래스에 속하는 원본 데이터와 생성된 샘플 간의 클러스터링이 매우 밀접하게 이루어졌으며, 특히 활성도 측면에서 효과적인 제어가 가능함을 확인하였다.
• 모델 분석 결과, 정서의 강도(valence)를 정확히 모델링하는 것이 활성도보다 더 어려운 것으로 나타났으며, HAHV 조건 하에 생성된 샘플 중 21.4%가 HALV로 잘못 분류되는 등, valence 모델링에 내재된 복잡성이 드러났다.