[논문 리뷰] DawDreamer: Bridging the Gap Between Digital Audio Workstations and Python Interfaces

David Braun|arXiv (Cornell University)|2021. 11. 18.

Music and Audio Processing인용 수 6

한 줄 요약

DawDreamer는 VST, Faust 신호 처리 코드, 동적 파rameter 자동화를 통해 디지털 오디오 워크스테이션(DAW)과 프로그래밍 기반 오디오 처리를 연결하는 크로스플랫폼 파이썬 모듈입니다. 실시간 오디오 그래프 구축을 가능하게 하며, 타임스트레칭, Ableton .asd 파일 파싱를 통한 톤 왜곡, 혼합 오디오 트랙의 효율적 배치 처리를 지원하여 음악 정보 검색 및 생성 오디오 합성 분야에서 고급 응용을 가능하게 합니다.

ABSTRACT

Audio production techniques which previously only existed in GUI-constrained digital audio workstations, livecoding environments, or C++ APIs are now accessible with our new Python module called DawDreamer. DawDreamer therefore bridges the gap between real sound engineers and coders imitating them with offline batch-processing. Like contemporary modules in this domain, DawDreamer can create directed acyclic graphs of audio processors such as VSTs which generate or manipulate audio streams. DawDreamer can also dynamically compile and execute code from Faust, a powerful signal processing language which can be deployed to many platforms and microcontrollers. We discuss DawDreamer's unique features in detail and potential applications across music information retrieval including source separation, transcription, and audio effect parameter inference. We provide fully cross-platform PyPI installers, a Linux Dockerfile, and an example Jupyter notebook.

연구 동기 및 목표

• 기존 파이썬 오디오 프레임워크가 DAW의 기능을 완전히 모방하는 데 한계가 있음을 해결하기 위해, 버스링, 파rameter 자동화, 크로스플랫폼 호환성과 같은 功能을 포함합니다.
• VST, LV2, Faust를 지원함으로써 플랫폼 별 제약을 극복하고, 다양한 플랫폼 간 오디오 처리 도구에 통합된 접근 방식을 제공합니다.
• 기계 학습 응용을 위해 다수의 트랙과 효과를 포함한 복잡한 오디오 그래프의 효율적 배치 처리를 가능하게 합니다.
• 물리적 제약이 없는 프로그래밍 가능한 오디오 엔진을 제공하여 실제 DAW 워크플로우에서 유도되는 음악적 구조와 인덕티브 편향을 유지합니다.
• 타이밍, 톤, 효과 변화를 제어 가능한 방식으로 오디오 혼합을 생성함으로써 음악 정보 검색 분야의 연구를 촉진합니다.

제안 방법

• 파이썬 인터페이스를 통해 VST 악기 및 효과를 포함한 오디오 프로세서의 방향성 비순환 그래프(DAG)를 구축합니다.
• libfaust를 통한 Faust의 Just-in-Time 컴파일을 통합하여 신호 처리 코드를 컴파일하고, Faust UI 제어 요소를 조정 가능한 파arameter로 매핑합니다.
• numpy 배열을 제어 신호로 전달하여 파arameter 자동화를 지원함으로써 시간에 따라 효과 파arameter를 동적으로 조정합니다.
• Ableton Live .asd 파일의 워프 마커를 역공학적으로 분석하여 Rubber Band 라이브러리를 활용해 중간 파일 I/O 없이 타임스트레칭 및 톤 왜곡을 수행합니다.
• 단일 렌더링 프로세스 내에서 여러 타임라인 위치에 걸쳐 오디오 클립을 재사용함으로써 다중 트랙 믹싱의 효율성을 높입니다.
• 크로스플랫폼 PyPI 설치 파일, Dockerfile, 재현 가능한 실험 및 프로토타이핑을 위한 Jupyter 노트북을 제공합니다.

실험 결과

연구 질문

• RQ1 파이썬 기반 오디오 프레임워크가 버스링, 파arameter 자동화, 다중 트랙 믹싱과 같은 DAW의 전반적인 功能을 프로그래밍적이고 크로스플랫폼 방식으로 효과적으로 재현할 수 있는가?
• RQ2 Faust로 생성된 신호 프로세서가 고수준 파이썬 인터페이스에 얼마나 잘 통합되어, 최소한의 저수준 프로그래밍으로도 동적이고 파arameter 기반 오디오 처리가 가능한가?
• RQ3 중간 파일 쓰기 없이 역공학적으로 추출한 Ableton .asd 워프 마커를 사용해 타임스트레칭 및 톤 왜곡을 얼마나 효율적으로 수행할 수 있는가?
• RQ4 DawDreamer는 타이밍, 톤, 효과 변화를 제어 가능한 방식으로 현실적이고 다양한 오디오 혼합물을 생성할 수 있는가? 이는 음원 분離 및 편집 작업에 활용될 수 있는가?
• RQ5 기계 학습 파이프라인에 DAW 수준의 오디오 프로세싱 논리를 통합할 경우, 생성된 오디오 데이터의 인덕티브 편향과 현실감이 어떻게 향상되는가?

주요 결과

• DawDreamer는 다수의 VST 악기 및 효과를 포함한 복잡하고 재사용 가능한 오디오 프로세서 그래프를 생성할 수 있으며, 여러 번의 프로세싱 단계 동안 동적 파arameter 변경을 지원합니다.
• Faust 통합을 통해 다성분 싱어 및 샘플러의 프로그래밍 기반 제어가 가능해졌으며, wavetable 및 샘플 데이터는 numpy 배열로 전달되고, 보이스 할당은 자동으로 처리됩니다.
• Ableton .asd 파일의 워프 마커를 활용해 Rubber Band 라이브러리 통합 덕분에 중간 파일 I/O 없이 타임스트레칭 및 톤 왜곡이 효율적으로 수행됩니다.
• 사이드체인 압축 및 다중 입력 효과, 일반화된 버스링과 같은 고급 DAW 기능을 지원하여 현실적인 오디오 믹싱 워크플로우를 가능하게 합니다.
• Jupyter 노트북을 통해 비트 기반 및 음악적 간격 기반 거리 측정 기준을 활용해 아카펠라와 악기 트랙의 템포 일치 및 믹싱을 구현하여 현실적인 오디오 믹스업을 가능하게 합니다.
• DawDreamer를 통해 수십 개의 트랙을 포함한 고해상도이고 다양한 오디오 혼합물을 생성할 수 있으며, 일반적으로 사용되는 네 트랙(보컬, 드럼,베이스, 기타) 구조를 초월해 소스 분리 및 편집 모델의 훈련 데이터 품질을 향상시킵니다.