[论文解读] DawDreamer: Bridging the Gap Between Digital Audio Workstations and Python Interfaces

David Braun|arXiv (Cornell University)|Nov 18, 2021

Music and Audio Processing被引用 6

一句话总结

DawDreamer 是一个跨平台的 Python 模块，通过支持 VST、Faust 信号处理代码和动态参数自动化，实现了数字音频工作站（DAWs）与程序化音频处理之间的桥梁，支持实时音频图构建。它支持时间拉伸、通过解析 Ableton .asd 文件实现的音高变换，以及混合音频轨道的高效批量处理，适用于音乐信息检索和生成音频合成等高级应用。

ABSTRACT

Audio production techniques which previously only existed in GUI-constrained digital audio workstations, livecoding environments, or C++ APIs are now accessible with our new Python module called DawDreamer. DawDreamer therefore bridges the gap between real sound engineers and coders imitating them with offline batch-processing. Like contemporary modules in this domain, DawDreamer can create directed acyclic graphs of audio processors such as VSTs which generate or manipulate audio streams. DawDreamer can also dynamically compile and execute code from Faust, a powerful signal processing language which can be deployed to many platforms and microcontrollers. We discuss DawDreamer's unique features in detail and potential applications across music information retrieval including source separation, transcription, and audio effect parameter inference. We provide fully cross-platform PyPI installers, a Linux Dockerfile, and an example Jupyter notebook.

研究动机与目标

• 解决现有 Python 音频框架在模拟完整 DAW 功能（包括混音母线、参数自动化和跨平台兼容性）方面的局限性。
• 通过支持 VST、LV2 和 Faust，统一跨平台的音频处理工具访问方式，突破平台特定限制。
• 为机器学习应用实现复杂音频图的高效批量处理，支持多轨道和多效果处理。
• 提供一个无物理约束、可编程的音频引擎，保留真实 DAW 工作流中的音乐结构和归纳偏置。
• 通过支持时间、音高和效果变化的可控、逼真的音频混合生成，促进音乐信息检索研究。

提出的方法

• 使用 Python 接口构建包含 VST 乐器和效果器在内的音频处理器有向无环图（DAG）。
• 通过 libfaust 集成 Faust，实现信号处理代码的即时编译，并将 Faust 的 UI 控件映射为可自动化的参数。
• 通过传递 numpy 数组作为控制信号，支持参数自动化，实现实时动态调制效果参数。
• 利用从 Ableton Live .asd 文件中反向工程的 warp 标记，结合 Rubber Band 库，实现无中间文件 I/O 的时间拉伸和音高变换。
• 在单次渲染过程中支持音频片段在多个时间轴位置的复用，实现高效的多轨道混音。
• 提供跨平台的 PyPI 安装包、Dockerfile 和 Jupyter 笔记本，支持可重现的实验和原型开发。

实验结果

研究问题

• RQ1 基于 Python 的音频框架能否以程序化且跨平台的方式有效复现 DAW 的全部功能，包括混音母线、参数自动化和多轨道混音？
• RQ2 Faust 生成的信号处理器在多大程度上可以集成到高层 Python 接口中，以实现低代码量的动态、参数化音频处理？
• RQ3 在不写入中间文件的情况下，利用反向工程的 Ableton .asd warp 标记，时间拉伸和音高变换的效率如何？
• RQ4 DawDreamer 能否生成具有可控时间、音高和效果变化的逼真、多样化的音频混合，以用于音乐源分离和转录任务？
• RQ5 将 DAW 级音频处理逻辑集成到机器学习流水线中，如何提升生成音频数据的归纳偏置和真实感？

主要发现

• DawDreamer 支持创建包含多个 VST 乐器和效果器的复杂、可重用音频处理器图，并支持在多次前向传播中动态改变参数。
• Faust 的集成使得可编程控制多声部合成器和采样器成为可能，波表和采样数据以 numpy 数组形式传入，音色分配由系统自动处理。
• 借助 Rubber Band 库的集成，利用来自 Ableton .asd 文件的 warp 标记，实现了无中间文件 I/O 的高效时间拉伸和音高变换。
• 该框架支持侧链压缩和多输入效果器等高级 DAW 功能，以及通用混音母线，支持逼真的音频混音工作流程。
• Jupyter 笔记本展示了基于节拍和音乐音程距离度量的节拍匹配与人声与乐器轨道混音，支持逼真的音频混剪。
• DawDreamer 能够生成高保真、多样化的音频混合，支持数十个轨道，超越典型四轨（人声、鼓、贝斯、其他）配置，显著提升源分离和转录模型的训练数据质量。