[논문 리뷰] CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis

Simon Rouard, Gaëtan Hadjeres|arXiv (Cornell University)|2021. 06. 14.

Music and Audio Processing인용 수 6

한 줄 요약

CRASH는 확률적 미분 방정식(SDEs)과 노이즈 조건부 U-Net을 사용하여 고해상도(44.1 kHz) 원시 오디오 드럼 합성에 대한 점수 기반 생성 모델을 도입한다. 이 모델은 다양한 샘플링 기법—특히 하이브리드 사운드를 위한 클래스 혼합 포함—을 통해 제어 가능한 생성을 가능하게 하며, FAD 점수 최소 0.98을 기록하여 GAN 기반 방법과의 격차를 좁히면서도 더 높은 유연성과 학습 효율성을 제공한다.

ABSTRACT

In this paper, we propose a novel score-base generative model for unconditional raw audio synthesis. Our proposal builds upon the latest developments on diffusion process modeling with stochastic differential equations, which already demonstrated promising results on image generation. We motivate novel heuristics for the choice of the diffusion processes better suited for audio generation, and consider the use of a conditional U-Net to approximate the score function. While previous approaches on diffusion models on audio were mainly designed as speech vocoders in medium resolution, our method termed CRASH (Controllable Raw Audio Synthesis with High-resolution) allows us to generate short percussive sounds in 44.1kHz in a controllable way. Through extensive experiments, we showcase on a drum sound generation task the numerous sampling schemes offered by our method (unconditional generation, deterministic generation, inpainting, interpolation, variations, class-conditional sampling) and propose the class-mixing sampling, a novel way to generate "hybrid" sounds. Our proposed method closes the gap with GAN-based methods on raw audio, while offering more flexible generation capabilities with lighter and easier-to-train models.

연구 동기 및 목표

• 기존 GAN 기반 및 디퓨전 기반 접근법을 뛰어넘는 음질과 유연성을 확보한 제어 가능한 고해상도 원시 오디오 드럼 사운드 생성 모델을 개발하는 것.
• 원래 이미지 분야에서 개발된 점수 기반 생성 모델링을 원시 파형 도메인에 적응시키며, 오디오 데이터에 특화된 SDE를 제안하는 것.
• 다양한 샘플링 기법—특히 결정론적 샘플링, 인painting, 보간, 클래스 조건부 생성—을 통해 상호작용 가능한 사운드 디자인을 가능하게 하는 것.
• 다양한 클래스의 톤 특성을 혼합하여 하이브리드 드럼 사운드를 생성하는 새로운 클래스 혼합 샘플링 방법을 도입하는 것.
• DDIM을 통해 실시간 초과 속도의 샘플링을 가능하게 하는 SDE의 재매개변수화를 제공하여 추론 효율성을 향상시키는 것.

제안 방법

• 모델은 시간에 따라 변화하는 이동 및 확산 함수로 파arameter화된 연속시간 전진 SDE를 사용하여 원시 오디오 파형에 점차 노이즈를 첨가한다.
• 노이즈 조건부 U-Net은 노이즈가 첨가된 데이터의 로그 밀도의 그래디언트인 점수 함수를 추정하도록 훈련되며, 이는 ODE 솔버를 통한 역방향 정화 과정을 가능하게 한다.
• 저음질 향상을 위해 오디오에 최적화된 새로운 SDE 스케줄—특히 sub-VP cos 스케줄—을 제안하며, 이는 노이즈가 거의 없는 영역에 더 많은 스텝을 집중시켜 청각적 품질을 향상시킨다.
• 샘플링은 수치적 ODE 통합을 통해 수행되며, DDIM 기법은 SDE의 특정 이산화로 재해석되어 빠르고 결정론적인 추론을 가능하게 한다.
• 클래스 조건부 생성은 드럼 클래스 레이블에 기반한 별도의 분류기 모델을 훈련시켜 역방향 ODE 과정을 안내하는 방식으로 구현된다.
• 클래스 혼합 샘플링 전략은 서로 다른 클래스 조건부 분포 간의 잠재 코드를 보간하여, 예를 들어 '스네어 특성을 가진 킥'과 같은 하이브리드 사운드를 생성하는 데 사용된다.

실험 결과

연구 질문

• RQ1 SDE를 활용한 점수 기반 생성 모델링이 고해상도 원시 오디오 생성, 특히 타악기적 사운드에 대해 효과적으로 적용될 수 있는가?
• RQ2 특히 청각적 품질과 샘플 다양성 측면에서 오디오 데이터에 가장 효과적인 SDE 스케줄은 무엇인가?
• RQ3 노이즈 조건부 U-Net이 44.1 kHz 원시 오디오 파형에 대해 점수 함수를 효과적으로 추정할 수 있는가?
• RQ4 결정론적, 확률적, 인painting, 보간 등의 다양한 샘플링 기법이 실제 사운드 디자인 시나리오에서 어떻게 성능을 발휘하는가?
• RQ5 새로운 클래스 혼합 샘플링 방법이 기존 합성 방식으로 쉽게 구현하기 어려운 음악적으로 의미 있는 하이브리드 드럼 사운드를 생성할 수 있는가?

주요 결과

• sub-VP cos 스케줄이 테스트 세트에서 FAD 점수 0.98을 기록하여 다른 스케줄보다 뛰어난 청각적 품질을 입증하였다.
• DDIM 샘플링 기법이 SDE의 이산화로 재해석되어 실시간 초과 속도의 추론을 가능하게 하여 실시간 사운드 디자인에 실용적이게 되었다.
• 모델은 고음질 44.1 kHz 드럼 사운드 생성을 달성하였으며, 재구성된 샘플은 정확한 톤과 트랜지언트 특성을 잘 반영하고 있었다.
• 클래스 혼합 샘플링은 하이브리드 드럼 사운드—예를 들어, 심벌이 킥처럼 들리는 사운드 또는 킥이 더 스네어 같은 특성을 띠는 사운드—의 생성에 성공하여 제어 가능한 톤 혼합을 입증하였다.
• 스네어 사운드의 꼬리 부분에 대해 인painting을 수행한 결과, 다수의 타당한 변형을 성공적으로 재생산하여 모델의 타겟된 오디오 편집 능력을 입증하였다.
• 좋은 샘플 품질에도 불구하고 무조건적 생성 결과는 원본 데이터셋 대비 약간의 다양성 감소를 보였으며, 잠재공간 커버리지 향상 여지를 시사하였다.