[论文解读] Low-Resource Guidance for Controllable Latent Audio Diffusion

Zachary Novack, Zack Zukowski+7 more|arXiv (Cornell University)|Mar 4, 2026

Music and Audio Processing被引用 0

一句话总结

论文提出 Latent-Control Heads (LatCHs) 和 selective Text-Free Guidance (TFG)，以低计算成本实现受控潜在音频扩散，避免解码器反向传播并训练更大模型。

ABSTRACT

Generative audio requires fine-grained controllable outputs, yet most existing methods require model retraining on specific controls or inference-time controls ( extit{e.g.}, guidance) that can also be computationally demanding. By examining the bottlenecks of existing guidance-based controls, in particular their high cost-per-step due to decoder backpropagation, we introduce a guidance-based approach through selective TFG and Latent-Control Heads (LatCHs), which enables controlling latent audio diffusion models with low computational overhead. LatCHs operate directly in latent space, avoiding the expensive decoder step, and requiring minimal training resources (7M parameters and $\approx$ 4 hours of training). Experiments with Stable Audio Open demonstrate effective control over intensity, pitch, and beats (and a combination of those) while maintaining generation quality. Our method balances precision and audio fidelity with far lower computational costs than standard end-to-end guidance. Demo examples can be found at https://zacharynovack.github.io/latch/latch.html.

研究动机与目标

• 通过引导方法在不进行高成本再训练或重推理的情况下实现可控的音频生成以示范动机。
• 通过在潜在空间而非信号空间中操作，降低引导的计算负担。
• 实现对单一控制与多控制的操作（如强度、音高、拍点），并进行轻量级训练。
• 在 Stable Audio 上展示该方法，以在控制精度与音频保真之间取得平衡。

提出的方法

• 提出选择性 TFG，使引导仅应用于扩散步骤的子集以降低成本。
• 引入 Latent-Control Heads (LatCHs)，将潜在表征直接映射到控制特征，避免解码器反向传播。
• 将 LatCHs 训练为轻量级（~7M 参数）模块，基于潜在变量预测控制信号，并具有噪声条件变体 LatCH-F 和 LatCH-B。
• 使用 DDIM 采样、v-diffusion 参数化，以及用于潜在空间引导的基于分数的扩散目标。
• 通过对多种控制（如强度、音高、拍点）取平均控制损失并在采样阶段使用无分类器引导（CFG）实现多控融合。
• 使用 SAO 作为基础模型，对强度、音高和拍点等控制进行评估。

实验结果

研究问题

• RQ1 通过在潜在空间而非解码回音频空间来进行引导控制，是否可以实现高效？
• RQ2 在扩散步骤子集上进行选择性引导，是否在降低计算的同时保持或提升音质？
• RQ3 轻量级的 LatCHs 在从潜在表征预测控制信号（强度、音高、拍点等）方面的效果如何？
• RQ4 使用 LatCHs 与选择性 TFG 时，控制精度、音频保真度与运行时之间存在哪些权衡？
• RQ5 与端到端引导和读取（readouts）相比，该方法在质量与效率方面有何差异？

主要发现

• LatCHs 通过在不进行解码器反向传播的情况下将潜在变量映射到控制特征，实现低资源引导。
• 选择性 TFG 仅在早期扩散步骤应用引导，显著降低运行时成本且对控制一致性的损失很小。
• 在测试配置中，LatCH-B 通常在音频质量、对指令的遵循、控制对齐和效率之间取得最佳平衡。
• 端到端引导提供较强的控制但计算成本显著更高，而读取在质量上常落后。
• 该方法能够同时支持多种控制（如拍点与强度），且在长时音频（最长可达 47.55s）上表现稳健。
• 1D 控制（如强度、拍点）通常比高维度音高映射在引导中更可靠。