[论文解读] Assisted Sound Sample Generation with Musical Conditioning in Adversarial Auto-Encoders

Adrien Bitton, Philippe Esling+2 more|arXiv (Cornell University)|Apr 12, 2019

Music and Audio Processing参考文献 18被引用 7

一句话总结

本文提出 WAE-Fader，一种基于Wasserstein自编码器的轻量级非自回归生成模型，通过FiLM进行音乐条件化并结合对抗训练，实现对管弦乐音色样本的实时、富有表现力的音频生成。该模型学习到分离的、连续的音色控制，涵盖管弦乐音色与演奏技巧，支持通过潜在空间操作实现直观的属性混合，并通过插件实现与数字音频工作站（DAWs）的实时集成，实现交互式音频合成。

ABSTRACT

Generative models have thrived in computer vision, enabling unprecedented image processes. Yet the results in audio remain less advanced. Our project targets real-time sound synthesis from a reduced set of high-level parameters, including semantic controls that can be adapted to different sound libraries and specific tags. These generative variables should allow expressive modulations of target musical qualities and continuously mix into new styles. To this extent we train AEs on an orchestral database of individual note samples, along with their intrinsic attributes: note class, timbre domain and extended playing techniques. We condition the decoder for control over the rendered note attributes and use latent adversarial training for learning expressive style parameters that can ultimately be mixed. We evaluate both generative performances and latent representation. Our ablation study demonstrates the effectiveness of the musical conditioning mechanisms. The proposed model generates notes as magnitude spectrograms from any probabilistic latent code samples, with expressive control of orchestral timbres and playing styles. Its training data subsets can directly be visualized in the 3D latent representation. Waveform rendering can be done offline with GLA. In order to allow real-time interactions, we fine-tune the decoder with a pretrained MCNN and embed the full waveform generation pipeline in a plugin. Moreover the encoder could be used to process new input samples, after manipulating their latent attribute representation, the decoder can generate sample variations as an audio effect would. Our solution remains rather fast to train, it can directly be applied to other sound domains, including an user's libraries with custom sound tags that could be mapped to specific generative controls. As a result, it fosters creativity and intuitive audio style experimentations.

研究动机与目标

• 开发一种快速、轻量的生成模型，用于实时音频合成，支持对音色、演奏技巧和音高等音乐属性的语义控制。
• 解决现有音频生成模型在非视觉领域（如音乐）中可解释性和可控性表示的不足。
• 通过从音乐属性中学习的连续、解耦潜在变量，实现对多种音频风格的直观、类似音控的混合。
• 提供一种可微调用于实时波形生成并可集成到数字音频工作站（DAWs）中的系统，以支持现场表演和音色设计。
• 通过将自定义标签映射到生成控制，将模型扩展至用户特定的音色库，实现个性化的音频合成。

提出的方法

• 在管弦乐音符采样的梅尔频谱图振幅上训练Wasserstein自编码器（WAE），以学习解耦的三维潜在表征。
• 使用特征逐元素线性调制（FiLM）对解码器进行条件化，以显式控制音符属性，如音高类、音色领域和扩展演奏技巧。
• 引入音控潜在判别器以强制实现属性不变的潜在表征，促进解耦并支持风格控制的连续混合。
• 采用对抗训练以提升潜在空间中风格变量的表现力与解耦性，同时保持重建质量。
• 使用预训练的梅尔频谱图反演网络（MCNN）对解码器进行微调，以实现从潜在码到实时波形的生成。
• 使用LibTorch将完整流程嵌入PureData插件，支持MIDI映射与实时DAW集成，实现交互式音色设计。

实验结果

研究问题

• RQ1 轻量级、非自回归的自编码器模型是否能通过音乐条件化学习到管弦乐音色样本的解耦、连续风格控制？
• RQ2 使用音控判别器的对抗训练在促进属性不变潜在表征的同时，是否能有效实现准确的属性条件化生成？
• RQ3 所学习的潜在空间在多大程度上支持对多种音乐属性（如音色与演奏技巧）的直观、类似音控的混合，以生成混合音效？
• RQ4 是否可通过将自定义标签映射到生成控制，而无需从头开始训练，将模型适配至用户特定的音色库？
• RQ5 在实时环境下，与Griffin-Lim相比，经微调的神经反演网络在波形重建质量上表现如何？

主要发现

• WAE-Fader 模型在测试中保持了较低的重建损失，实现了梅尔频谱图振幅的高质量重建，表明其具有强大的生成性能。
• 消融实验证实，通过FiLM进行音乐条件化以及对抗训练显著提升了属性条件化生成效果，优于无条件化基线模型。
• 潜在空间可视化显示，属性（如音色、演奏技巧）在三维潜在空间中呈现清晰聚类，验证了其解耦性与可解释性。
• 该模型支持风格变量的连续混合，用户可通过调节类似音控的潜在控制，创建混合音色与音效。
• 使用MCNN对解码器进行微调后，波形质量几乎与Griffin-Lim相当，实现了适合现场表演的实时音频渲染。
• 插件实现支持实时MIDI映射与DAW集成，实现了低延迟响应的交互式、富有表现力的音色设计。