[论文解读] MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling

Yusong Wu, Ethan Manilow+7 more|arXiv (Cornell University)|Dec 17, 2021

Music Technology and Sound Studies被引用 10

一句话总结

MIDI-DDSP 是一种分层神经音频合成模型，结合了可解释的可微分数字信号处理（DDSP）与学习到的先验，实现了高保真度音频生成，并可对音乐表演进行详细控制。该模型采用三级分层结构——音符、表现性演奏和合成参数——允许在任意层级进行干预，并在听觉测试中实现了最先进的逼真度与控制性，优于 FluidSynth、DDSP Inference 和 Ableton 等基线模型。

ABSTRACT

Musical expression requires control of both what notes are played, and how they are performed. Conventional audio synthesizers provide detailed expressive controls, but at the cost of realism. Black-box neural audio synthesis and concatenative samplers can produce realistic audio, but have few mechanisms for control. In this work, we introduce MIDI-DDSP a hierarchical model of musical instruments that enables both realistic neural audio synthesis and detailed user control. Starting from interpretable Differentiable Digital Signal Processing (DDSP) synthesis parameters, we infer musical notes and high-level properties of their expressive performance (such as timbre, vibrato, dynamics, and articulation). This creates a 3-level hierarchy (notes, performance, synthesis) that affords individuals the option to intervene at each level, or utilize trained priors (performance given notes, synthesis given performance) for creative assistance. Through quantitative experiments and listening tests, we demonstrate that this hierarchy can reconstruct high-fidelity audio, accurately predict performance attributes for a note sequence, independently manipulate the attributes of a given performance, and as a complete system, generate realistic audio from a novel note sequence. By utilizing an interpretable hierarchy, with multiple levels of granularity, MIDI-DDSP opens the door to assistive tools to empower individuals across a diverse range of musical experience.

研究动机与目标

• 弥合现有系统在逼真神经音频合成与细粒度音乐控制之间难以平衡的差距。
• 构建一个结构化、分层的生成模型，在保持可解释性的同时实现出色的音频保真度。
• 允许用户在多个层级进行干预——音符序列、表现性演奏或合成参数——同时通过学习到的先验支持自动化生成。
• 通过可解释、可控制的音频合成，支持所有音乐经验水平用户的辅助音乐创作工具。
• 证明对演奏和合成的先验学习可从新颖的音符序列生成逼真音频，并实现精确的属性控制。

提出的方法

• MIDI-DDSP 使用三级分层结构：音符（MIDI 输入）、表现性演奏（震音、力度、演奏法）和合成参数（基于 DDSP）。
• 采用三个可训练模块：DDSP Inference（从音频中生成合成参数）、Expression Generator（从音符中生成演奏特征）和 Synthesis Generator（从演奏特征和合成参数生成音频）。
• 模型利用固定的、可微分的函数进行音符检测、特征提取和 DDSP 合成，确保端到端可微分性和可解释性。
• 采用类似自编码器的分层结构，每一层均以先前层为条件，支持任意阶段的条件生成。
• 系统在单音乐器录音上进行训练，结合重建损失和感知损失，以保留音频质量和表现细节。
• 通过潜在空间中的推理和优化，支持条件生成（例如，从音符生成音频）和解耦控制（例如，独立修改震音）。

Figure 1: (Left) The MIDI-DDSP architecture. MIDI-DDSP extracts interpretable features at the performance and synthesis levels, building a modeling hierarchy by learning feature generation at each level. Red and blue components indicate encoding and decoding respectively. Shaded boxes represent modu

实验结果

研究问题

• RQ1 分层模型能否同时实现高保真音频合成和对音乐演奏的详细控制？
• RQ2 该模型在给定音符序列和表现属性的情况下，音频重建效果如何？
• RQ3 在保持逼真度的前提下，震音、力度和音色等表现属性能在多大程度上实现独立操控？
• RQ4 在人类听觉测试中，该模型的感知质量与现有基线（如 FluidSynth、DDSP Inference 和 Ableton）相比如何？
• RQ5 该模型能否利用学习到的先验，从新颖的、未见过的音符序列中生成逼真音频？

主要发现

• 在听觉测试中，MIDI-DDSP 在所有基线中获得显著偏好，64 名参与者中有 44 名更偏好 MIDI-DDSP 而非真实音频（p = 0.00018），表明其具有高度的感知逼真度。
• 输入控制参数与输出音频属性之间达到高皮尔逊相关系数（r > 0.7）——例如，音量为 0.99，亮度为 0.96——证明了强大的控制保真度。
• MIDI-DDSP 在感知偏好上显著优于 DDSP Inference 和 FluidSynth，所有成对比较的 p 值均小于 0.01，仅在两组比较中例外（DDSP Inference 与真实音频、MIDI2Params 与 FluidSynth）。
• 该系统能准确从音符序列预测表现性演奏属性（如震音、力度），在所有测试乐器（包括小提琴、大提琴和双簧管）中均表现出高相关性。
• 对表现属性（如改变震音或起音噪声）的独立操控产生了感知上合理且逼真的音频，证实了特征的解耦与可控性。
• 该模型成功利用训练好的先验，从新颖的音符序列生成了高保真音频，证明其在音乐制作工作流中作为创意助手的实用性。

Figure 2: An example of detailed user control. Given an initial generation from the full MIDI-DDSP model (top), an expert musician can adjust notes (blue), performance attributes (green), and low-level synthesis parameters (yellow) to craft a personalized expression of a musical piece (bottom).