[논문 리뷰] Long-form music generation with latent diffusion

Zach Evans, Julian D. Parker외 4명|arXiv (Cornell University)|2024. 04. 16.

Music Technology and Sound Studies인용 수 4

한 줄 요약

이 논문은 원시 음성 신호를 21.5 Hz로 극도로 다운샘플링한 연속 잠재 표현에서 작동하는 잠재 확산 모델을 제안하며, 최대 4분 45초까지의 전체 길이이면서 일관된 음악 트랙을 생성한다. 이 모델은 의미 토큰에 의존하지 않으며, 음질과 프롬프트 일치도에서 최신 기술 수준(SOTA) 성능을 달성하여 강력한 구조적 일관성을 유지하는 엔드 투 엔드의 장기 음악 생성을 가능하게 한다.

ABSTRACT

Audio-based generative models for music have seen great strides recently, but so far have not managed to produce full-length music tracks with coherent musical structure from text prompts. We show that by training a generative model on long temporal contexts it is possible to produce long-form music of up to 4m45s. Our model consists of a diffusion-transformer operating on a highly downsampled continuous latent representation (latent rate of 21.5Hz). It obtains state-of-the-art generations according to metrics on audio quality and prompt alignment, and subjective tests reveal that it produces full-length music with coherent structure.

연구 동기 및 목표

• 기존의 텍스트 조건부 음악 생성 모델이 일반적으로 짧은 세그먼트(10~90초)만 생성하는 데 비해, 장기 음악적 구조의 부족을 해결하기 위해.
• 장기적인 시간적 맥락을 기반으로 훈련시켜 최대 4분 45초까지의 전체 길이 음악 생성을 가능하게 하기 위해.
• 의미 토큰에 의존하지 않고, 극도로 압축된 연속 잠재 공간에서의 잠재 확산에만 의존함으로써 의미 토큰 의존도를 제거하기 위해.
• 장기 음악 생성에서 음질과 텍스트-프롬프트 일치도에서 최신 기술 수준 성능을 달성하기 위해.
• 압축된 잠재 표현에서 디퓨전-트랜스포머를 사용해 단일 프로퍼티 전파를 통해 일관된 장기 음악 생성이 가능하다는 것을 입증하기 위해.

제안 방법

• 모델은 깊은 오토에인코더를 사용해 44.1kHz 스테레오 웨이브포맷을 21.5 Hz로 압축하여 연속 잠재 공간으로 변환함으로써 시퀀스 길이를 극도로 줄인다.
• 디퓨전-트랜스포머(DiT)는 잠재 공간에서 직접 작동하며, 텍스트 및 타이밍 조건부 처리를 위해 크로스 어텐션을 사용하고, 확산 타임스텝을 위한 프리펜드 조건부 처리를 적용한다.
• 텍스트 조건부 처리는 CLAP 기반의 대비적 음성-텍스트 임베딩 모델을 통해 수행되어 텍스트 프롬프트와 잠재 표현 간의 일치를 도모한다.
• 모델은 전체 길이의 음악 트랙(최대 285초)에서 엔드 투 엔드로 훈련되어, 자동회귀적 또는 계층적 생성 없이 전체 맥락 기반 생성이 가능하다.
• 잠재 공간은 연속적이고 정규화되어 있어 고해상도 음성 복원과 안정적인 확산 샘플링을 가능하게 한다.
• 현대 GPU의 VRAM을 고려해 아키텍처를 최적화하여, 4분 45초 길이의 음악 생성에 대해 단일 GPU에서 13초 내로 추론할 수 있다.

Figure 2 : Architecture of the diffusion-transformer (DiT). Cross-attention includes timing and text conditioning. Prepend conditioning includes timing conditioning and also the signal conditioning on the current timestep of the diffusion process.

실험 결과

연구 질문

• RQ1 의미 토큰에 의존하지 않고도, 잠재 확산 모델이 최대 4분 45초까지의 장기 음악을 일관된 음악적 구조로 생성할 수 있는가?
• RQ2 짧은 세그먼트가 아닌 전체 길이 음악 맥락에서 훈련하면, 장기적인 구조적 일관성 측면에서 기존 모델보다 향상되는가?
• RQ3 극도로 다운샘플링된 잠재 표현(21.5 Hz)이 비록 낮은 시간 해상도이지만 청각적 음질을 유지하면서 장기 맥락 생성에 적합한가?
• RQ4 최신 기술 수준의 기준 모델들과 비교했을 때, 음질과 프롬프트 일치도 측면에서 모델의 성능은 어떠한가?
• RQ5 장기 음악 생성에서의 기억화 리스크는 무엇이며, 체계적 분석을 통해 이를 완화할 수 있는가?

주요 결과

• 주관적 평가를 통해 최대 4분 45초까지의 전체 길이 음악 트랙을 일관된 음악적 구조로 생성함을 확인하였다.
• 장기 맥락 생성에서 음질과 텍스트-프롬프트 일치도 메트릭에서 최신 기술 수준 성능을 달성하였으며, 이는 이전 모델들을 능가하는 성능을 보였다.
• 21.5 Hz의 잠재 속도에서도 고해상도 음성 재현이 가능하며, 낮은 시간 해상도에서도 청각적 품질이 유지됨을 입증하였다.
• 단일 GPU에서 13초 내로 추론가능하여, 단일 프로퍼티 전파를 통한 효율적인 장기 음악 생성이 가능하다.
• 기억화 분석을 종합적으로 수행한 결과, 5,566개의 반복된 훈련 샘플에 대해조차도 모델의 기억화 증거를 발견하지 못했다.
• 추가적으로 음성-음성 스타일 전이, 보컬 유사 멜로디 생성, 짧은 세그먼트의 사운드 이펙트 합성 등의 기능도 구현하였다.

Figure 3 : Architecture of the autoencoder.