[논문 리뷰] Musika! Fast Infinite Waveform Music Generation

Marco Pasini, Jan Schlüter|arXiv (Cornell University)|2022. 08. 18.

Music Technology and Sound Studies인용 수 5

한 줄 요약

Musika는 소비자용 GPU로 학습하고 CPU 추론을 사용하는 단일 소비자 GPU에서 빠르고 사용자 제어가 가능하며 무한한 길이의 원시 오디오 생성이 가능한 비자기적, GAN 기반 음악 생성 시스템을 소개한다. 이는 계층적 역전이 가능한 오토인코더를 사용해 오디오를 저차원 잠복 표현으로 압축하고, 무한한 길이의 생성을 위한 잠복 좌표계를 도입하며, 장기적 일관성을 확보하기 위해 글로벌 스타일 조건부 조절을 통해 이루어진다. 피아노 음악에서 이전 시스템에 비해 속도와 FAD 점수 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Fast and user-controllable music generation could enable novel ways of composing or performing music. However, state-of-the-art music generation systems require large amounts of data and computational resources for training, and are slow at inference. This makes them impractical for real-time interactive use. In this work, we introduce Musika, a music generation system that can be trained on hundreds of hours of music using a single consumer GPU, and that allows for much faster than real-time generation of music of arbitrary length on a consumer CPU. We achieve this by first learning a compact invertible representation of spectrogram magnitudes and phases with adversarial autoencoders, then training a Generative Adversarial Network (GAN) on this representation for a particular music domain. A latent coordinate system enables generating arbitrarily long sequences of excerpts in parallel, while a global context vector allows the music to remain stylistically coherent through time. We perform quantitative evaluations to assess the quality of the generated samples and showcase options for user control in piano and techno music generation. We release the source code and pretrained autoencoder weights at github.com/marcoppasini/musika, such that a GAN can be trained on a new music domain with a single GPU in a matter of hours.

연구 동기 및 목표

• 음악 생성에서 자기적 모델의 한계, 즉 느린 추론과 높은 계산 비용을 해결하기 위해.
• 비자기적 시스템에서의 장기적 일관성 부족과 고정 길이 생성 문제를 극복하기 위해.
• 소비자 하드웨어에서 임의의 길이의 빠르고 무조건적 및 조건부 오디오 생성을 가능하게 하기 위해.
• 최소한의 자원으로 새로운 음악 도메인에 대해 사전 학습된 통합 오토인코더를 사용해 학습할 수 있는 프레임워크를 제공하기 위해.
• 노트 밀도 및 템포와 같은 조건부 신호를 통해 사용자 제어를 가능하게 하여 상호작용형 음악 창작을 지원하기 위해.

제안 방법

• 원시 오디오를 시간 해상도를 낮춘 역전이 가능한 저차원 잠복 표현으로 압축하기 위해 이중 단계의 계층적 오토인코더를 사용한다.
• 재구성 품질 향상과 효율적인 추론을 위해 오토인코더에 적대적 학습을 적용한다.
• 잠복 벡터를 연속적이고 구조화된 공간에서 모델링함으로써 무한한 길이의 오디오 시퀀스를 동시에 생성할 수 있는 잠복 좌표계를 도입한다.
• 장기적인 생성 동안 스타일 일관성을 유지하기 위해 글로벌 스타일 조건부 벡터를 도입한다.
• 잠복 표현에서 GAN을 학습하여 새로운 시퀀스를 생성하며, 무조건적 및 조건부 변형을 모두 지원한다.
• 노트 밀도(온셋에 대한 커널 밀도 추정) 및 템포(템포-CNN를 통한)와 같은 조건부 신호를 사용해 생성을 제어한다.

실험 결과

연구 질문

• RQ1 비자기적 GAN 기반 시스템이 소비자용 CPU에서 실시간보다 빠른 속도로 고품질의 무한 길이 원시 오디오를 생성할 수 있는가?
• RQ2 적대적 학습을 적용한 계층적 오토인코더가 음성 품질을 유지하면서도 빠른 학습과 추론을 달성할 수 있는가?
• RQ3 잠복 좌표계가 일관성 손실 없이 임의의 길이 오디오 시퀀스 생성을 가능하게 할 수 있는가?
• RQ4 글로벌 스타일 조건부 조절이 생성된 음악에서 장기적인 스타일 일관성을 보장할 수 있는가?
• RQ5 노트 밀도 및 템포와 같은 사용자 제어 조건부 신호가 생성 과정을 효과적으로 이끌 수 있는가?

주요 결과

• Musika는 소비자용 CPU에서 실시간보다 빠른 생성 속도를 달성했으며, 1초당 오디오의 추론 시간이 1초 이내였다.
• 단일 소비자 GPU를 사용해 수백 시간의 음악 데이터로 학습이 가능했으며, 학습은 수 시간 내에 완료되었다.
• MAESTRO 데이터셋에서 무조건적 Musika 모델은 UNAGAN보다 낮은 프리체트 오디오 거리(Frechet Audio Distance, FAD) 점수를 기록하여 더 뛰어난 음성 품질을 입증했다.
• 조건부 모델은 노트 밀도 및 템포와 같은 입력 신호에 따라 일관된 음악을 생성했으며, 청취 평가 및 시각적 점검을 통해 검증되었다.
• 통합 오토인코더의 사용으로, 새로운 음악 장르(예: 테크노)에 대해 오토인코더를 재학습하지 않고도 새로운 도메인 전용 GAN을 학습할 수 있었으며, 이는 학습 시간과 자원 소비를 줄였다.
• 공개된 오디오 샘플을 통해 장기간에 걸쳐 장기적 일관성과 일관된 음악 스타일을 보여주는 생성 샘플이 확인되었다.