[논문 리뷰] Towards democratizing music production with AI-Design of Variational Autoencoder-based Rhythm Generator as a DAW plugin

Nao Tokui|arXiv (Cornell University)|2020. 04. 01.

Music and Audio Processing참고 문헌 15인용 수 4

한 줄 요약

이 논문은 Ableton Live용 VAE 기반 리듬 생성 플러그인인 M4L.RhythmVAE를 제안하며, 음악가들이 드래그 앤 드롭 방식으로 MIDI 파일을 업로드하고 XY 펜던트를 통해 2차원 잠재공간을 실시간으로 제어함으로써 맞춤형 리듬 모델을 훈련하고 생성 결과를 탐색할 수 있도록 한다. 전문 음악가들은 이 도구를 창의적 탐색에 유용하게 사용하였으며, 인공지능을 음악 제작에 보다 널리 보급할 수 있는 실용적인 길을 제시한다.

ABSTRACT

There has been significant progress in the music generation technique utilizing deep learning. However, it is still hard for musicians and artists to use these techniques in their daily music-making practice. This paper proposes a Variational Autoencoder\cite{Kingma2014}(VAE)-based rhythm generation system, in which musicians can train a deep learning model only by selecting target MIDI files, then generate various rhythms with the model. The author has implemented the system as a plugin software for a DAW (Digital Audio Workstation), namely a Max for Live device for Ableton Live. Selected professional/semi-professional musicians and music producers have used the plugin, and they proved that the plugin is a useful tool for making music creatively. The plugin, source code, and demo videos are available online.

연구 동기 및 목표

• 딥 러닝에 대한 기술적 전문 지식이 없는 음악가들이 사용할 수 있는 실용적인 환경에서 고급 AI 음악 생성 기술과의 격차를 해소하기 위해.
• 비전문가가 표준 DAW 워크플로우 내에서 맞춤형 리듬 생성 모델을 훈련하고 사용할 수 있도록 사용자 友好的이고 상호작용 가능한 도구를 제공하기 위해.
• 창의적 탐색을 위해 리듬 패턴을 실시간으로 직접 제어할 수 있도록 2차원 잠재공간을 제어할 수 있도록 하기 위해.
• 사용자가 자신의 선호하는 MIDI 데이터로 훈련된 AI 도구를 통해 새로운 유용한 음악적 아이디어를 생성할 수 있음을 입증하기 위해.

제안 방법

• 시스템은 사용자가 선택한 MIDI 파일을 기반으로 훈련된 변분 오토인코더(VAE)를 구현하며, General MIDI 표준을 준수하고, 채널 10의 드럼 패턴에 집중한다.
• MIDI 노트 온셋은 고정된 GM 드럼 매핑을 사용해 9개의 사전 정의된 드럼 사운드로 매핑되며, 리듬 패턴은 16분음표 해상도의 시퀀스로 인코딩된다.
• VAE는 실시간으로 Max for Live의 표준 XY 펜던트 인터페이스를 통해 제어할 수 있도록 2차원 잠재공간을 사용하며, 이로써 리듬 패턴의 실시간 생성이 가능하다.
• 플러그인은 Ableton Live의 시퀀서와 통합되어 생성된 리듬이 동기화되며, 잠재 벡터의 이동을 자동화함으로써 음악적 진행 생성이 가능하다.
• MIDI 파일을 드래그 앤 드롭한 후 버튼 클릭으로 훈련을 시작하며, 수렴 상태를 실시간으로 시각화한 손실 곡선을 통해 모니터링이 가능하다.
• 모델은 Max 내부의 Node.js 런타임에서 TensorFlow.js를 사용해 배포되어 외부 종속성 없이 디바이스 내에서 추론이 가능하다.

실험 결과

연구 질문

• RQ1 딥 러닝 전문 지식이 없는 음악가들이 표준 DAW 환경에서 맞춤형 리듬 생성 모델을 효과적으로 훈련하고 사용할 수 있는가?
• RQ2 2차원 잠재공간을 직접 실시간으로 제어하는 방식이 음악 제작 과정에서 창의적 탐색과 아이디어 생성에 어떤 영향을 미치는가?
• RQ3 2차원 잠재공간을 가진 소규모 사용자 훈련 VAE 모델이 다양하고 음악적으로 의미 있는 리듬 패턴을 얼마나 잘 생성할 수 있는가?
• RQ4 이러한 플러그인은 실제 음악 제작 워크플로우에서 새로운 음악적 아이디어를 생성하는 실용적인 도구로 기능할 수 있는가?

주요 결과

• 테스트에 참여한 전문 음악가 및 프로듀서들은 플러그인을 새로운 음악적 아이디어를 생성하는 데 도움이 되는 유용한 도구로 평가했으며, 한 참가자는 명시적으로 창의성의 영감을 얻었다고 밝혔다.
• 플러그인은 실시간으로 상호작용 가능한 리듬 생성을 가능하게 하였으며, 사용자가 XY 펜던트를 움직일수록 생성된 리듬 패턴이 즉각적으로 Ableton Live 시퀀서와 동기화되어 재생되었다.
• 참가자들은 라이브 공연 환경에서도 플러그인을 성공적으로 활용하였으며, AI로 생성된 리듬을 사용한 공연 기록이 존재하여 실제 적용 가능성과 실용성을 입증하였다.
• 모델의 2차원 잠재공간은 용량 측면에서 제한이 있었지만, 사용자 전용 MIDI 데이터로 훈련된 경우 의미 있는 탐색과 변형에 충분했으며, 도메인 특화 모델이 창의적 용도로 일반 모델보다 우수하다는 가설을 지지하였다.
• 잠재 벡터 이동을 기록하고 자동화할 수 있는 기능 덕분에 사용자는 진화하는 리듬 프로그레션을 생성할 수 있었으며, 표준 DAW 워크플로우에 잘 통합됨을 보여주었다.
• 소스 코드, 플러그인, 데모 영상이 모두 공개되어 있어 재현성과 광범위한 보급을 지원한다.