[논문 리뷰] Neural Drum Machine : An Interactive System for Real-time Synthesis of Drum Sounds

Cyran Aouameur, Philippe Esling외 1명|arXiv (Cornell University)|2019. 07. 04.

Music Technology and Sound Studies참고 문헌 26인용 수 12

한 줄 요약

이 논문은 조건부 워샤르스타인 autoencoder(CWAE)를 사용해 멜스펙트로그램을 모델링하고, 다중 헤드 컨볼루션 신경망(MCNN)을 활용해 웨이브폼을 재구성함으로써, 실시간으로 새로운 드럼 사운드를 생성하는 상호작용 가능한 시스템인 Neural Drum Machine을 제안한다. 이 시스템은 주로 PCA 최적화된 컨트롤을 통해 표준 CPU에서 저지연으로 직관적인 사운드 합성을 가능하게 하며, Ableton Live 내에서 음악 프로듀서가 사운드 디자인과 인간미 있는 드럼 프로그래밍을 위한 창의적이고 스튜디오에 통합된 도구를 제공한다.

ABSTRACT

In this work, we introduce a system for real-time generation of drum sounds. This system is composed of two parts: a generative model for drum sounds together with a Max4Live plugin providing intuitive controls on the generative process. The generative model consists of a Conditional Wasserstein autoencoder (CWAE), which learns to generate Mel-scaled magnitude spectrograms of short percussion samples, coupled with a Multi-Head Convolutional Neural Network (MCNN) which estimates the corresponding audio signal from the magnitude spectrogram. The design of this model makes it lightweight, so that it allows one to perform real-time generation of novel drum sounds on an average CPU, removing the need for the users to possess dedicated hardware in order to use this system. We then present our Max4Live interface designed to interact with this generative model. With this setup, the system can be easily integrated into a studio-production environment and enhance the creative process. Finally, we discuss the advantages of our system and how the interaction of music producers with such tools could change the way drum tracks are composed.

연구 동기 및 목표

• 드럼 샘플 브라우징의 비효율성과 창의성의 한계를 해결하기 위해, 직관적이고 실시간으로 사운드를 탐색할 수 있도록 하는 것.
• 특수 하드웨어가 필요 없이도 고품질의 드럼 사운드를 생성할 수 있는 경량이고 실시간 작동하는 생성 모델을 개발하는 것.
• 비전문가 사용자들이 음악 제작 워크플로우에 자연스럽게 통합될 수 있도록 상호작용 가능한 Max4Live 플러그인을 설계하는 것.
• 학습된 잠재 공간을 대상으로 청각적으로 의미 있는 연속적 컨트롤을 제공하여 표현력 있는 사운드 디자인을 가능하게 하는 것.
• AI 기반 사운드 합성 기술이 인간의 창의성을 어떻게 향상시키고 전자 드럼 패턴의 인간미를 더할 수 있는지 탐구하는 것.

제안 방법

• 조건부 워샤르스타인 오토에인코드(CWAE)는 드럼 타입(예: 베이스드럼, 스네어 등)에 따라 조건이 지정된 잠재 공간에서 멜-스케일링된 세그멘테이션 스펙트로그램을 생성한다.
• 다중 헤드 컨볼루션 신경망(MCNN)은 생성된 스펙트로그램에서 고해상도 오디오 웨이브폼을 재구성하기 위해 미분 가능한 스펙트로그램 역전개를 수행한다.
• 주성분 분석(PCA)을 통해 64차원의 잠재 코드를 세 가지 청각적으로 의미 있는 차원(P1, P2, P3)으로 압축하여 사용자에게 직관적인 제어를 가능하게 한다.
• Max4Live 플러그인은 PCA 최적화된 컨트롤(XY 패드로 P1/P2 제어, 노브로 P3 제어)과 카테고리 선택기 기능을 노출하여 실시간 상호작용을 가능하게 한다.
• UDP 기반의 클라이언트-서버 아키텍처는 저지연 통신을 보장한다: 사용자 입력은 파이썬 서버로 전송되어 새로운 WAV 파일을 생성하고 반환한다.
• 시스템은 표준 2.6 GHz Intel Core i7 CPU에서 50ms 이내의 지연 시간으로 작동하여 버퍼 지연 없이 실시간 재생이 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 생성 모델이 소비자용 일반 하드웨어에서 실시간으로 상호작용 가능한 드럼 사운드 합성을 가능하게 할 수 있는가?
• RQ2 고차원의 잠재 공간은 어떻게 효과적으로 압축하고, 직관적이며 청각적으로 의미 있는 컨트롤을 통해 노출시킬 수 있는가?
• RQ3 이러한 시스템이 음악 제작의 창의성 향상과 사운드 디자인의 효율성 향상에 어느 정도 기여할 수 있는가?
• RQ4 루프 전체에 걸쳐 합성 파rameter를 미세하게 변형함으로써 시스템이 인간미 있는 드럼 패턴을 생성할 수 있는가?
• RQ5 생성 모델이 DAW 워크플로우에 통합될 경우, 비전문가 프로듀서들의 사용성과 수용도에 어떤 영향을 미치는가?

주요 결과

• 시스템은 표준 CPU에서 50ms 이내의 지연 시간으로 실시간 오디오 생성을 달성하여 라이브 및 스튜디오 사용에 실용적이다.
• PCA로 압축된 잠재 공간(P1, P2, P3)은 다양한 드럼 사운드를 직관적이고 연속적으로 탐색할 수 있게 하며, 청각적 일관성을 유지한다.
• Max4Live 플러그인은 Ableton Live에 원활하게 통합되어 프로듀서가 DAW 환경 내에서 즉각적으로 새로운 드럼 사운드를 생성하고 재생할 수 있도록 한다.
• 모델은 정성적 평가와 사용자 상호작용 결과를 통해 청각적 다양성을 지닌 고품질의 드럼 사운드를 성공적으로 생성하였다.
• 시스템은 루프 전체에 걸쳐 미세한 파arameter 변화를 가능하게 하여, 인간미 있는 드럼 패턴을 제작하고 기계적으로 들리는 느낌을 줄이는 데 실용적인 방법을 제공한다.
• CWAE와 MCNN의 조합은 고해상도의 스펙트로그램에서 웨이브폼으로의 변환을 달성하여 전문 제작에 적합한 자연스러운 듣기 품질의 드럼 샘플을 생성한다.