[论文解读] Long-form music generation with latent diffusion

Zach Evans, Julian D. Parker+4 more|arXiv (Cornell University)|Apr 16, 2024

Music Technology and Sound Studies被引用 4

一句话总结

本论文提出了一种潜在扩散模型，通过在高度下采样的21.5 Hz连续潜在表示上操作，能够生成长达4分45秒的完整、连贯音乐作品。该模型在无需依赖语义标记的情况下，实现了音频质量与提示词对齐的最先进性能，实现了端到端的长时序音乐生成，并展现出强大的结构连贯性。

ABSTRACT

Audio-based generative models for music have seen great strides recently, but so far have not managed to produce full-length music tracks with coherent musical structure from text prompts. We show that by training a generative model on long temporal contexts it is possible to produce long-form music of up to 4m45s. Our model consists of a diffusion-transformer operating on a highly downsampled continuous latent representation (latent rate of 21.5Hz). It obtains state-of-the-art generations according to metrics on audio quality and prompt alignment, and subjective tests reveal that it produces full-length music with coherent structure.

研究动机与目标

• 为解决现有文本条件音乐生成模型中长期音乐结构缺失的问题，这些模型通常仅能生成短片段（10–90秒）。
• 通过在扩展的时间上下文上训练生成模型，实现完整时长音乐生成（最长可达4分45秒）。
• 通过仅依赖高度压缩的连续潜在空间中的潜在扩散，消除对语义标记的依赖。
• 在长时序音乐生成中实现音频质量与文本提示对齐的最先进性能。
• 证明可通过单次前向传播，在压缩潜在表示上使用扩散-Transformer模型生成结构连贯的长时序音乐。

提出的方法

• 该模型使用深度自编码器将原始44.1kHz立体声波形压缩为21.5 Hz的连续潜在空间，显著降低序列长度。
• 扩散-Transformer（DiT）直接在潜在空间中运行，使用交叉注意力机制进行文本和时间条件控制，以及使用前缀条件机制处理扩散时间步。
• 通过基于CLAP的对比音频-文本嵌入模型实现文本条件控制，以对齐文本提示与潜在表示。
• 模型在完整音乐作品（最长285秒）上进行端到端训练，实现无需自回归或分层生成的完整上下文生成。
• 潜在空间为连续且归一化，支持高保真音频重建与稳定扩散采样。
• 该架构针对现代GPU显存进行优化，实现单张GPU上4分45秒音乐生成仅需13秒推理时间。

Figure 2 : Architecture of the diffusion-transformer (DiT). Cross-attention includes timing and text conditioning. Prepend conditioning includes timing conditioning and also the signal conditioning on the current timestep of the diffusion process.

实验结果

研究问题

• RQ1 潜在扩散模型能否在不依赖语义标记的情况下，生成长达4分45秒且结构连贯的长时序音乐？
• RQ2 与在短片段上训练的模型相比，在完整音乐上下文上进行训练是否能提升长期结构连贯性？
• RQ3 高度下采样的潜在表示（21.5 Hz）是否能在保持感知音频质量的同时支持长上下文生成？
• RQ4 与最先进基线模型相比，该模型在音频质量与提示词对齐方面的表现如何？
• RQ5 长时序音乐生成中是否存在记忆化风险，能否通过系统性分析加以缓解？

主要发现

• 主观评估确认，该模型能够生成长达4分钟45秒且结构连贯的完整音乐作品。
• 在音频质量与文本提示对齐指标上达到最先进性能，优于先前模型在长上下文生成中的表现。
• 在21.5 Hz潜在率下生成高保真音频，证明即使在低时间分辨率下，感知质量仍能得以保留。
• 单张GPU上推理仅需13秒，支持在单次前向传播中高效生成长时序音乐。
• 全面的记忆化分析未发现模型存在记忆化现象，即使在5,566个重复训练样本上测试亦无证据。
• 该模型还具备其他能力，如音频到音频的风格迁移、类似人声的旋律生成，以及短时音效的合成。

Figure 3 : Architecture of the autoencoder.