[论文解读] Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation

Ye Zhu, Yu Wu+4 more|arXiv (Cornell University)|Jun 15, 2022

Music and Audio Processing被引用 10

一句话总结

本文提出条件离散对比扩散（CDCD），一种新颖方法，通过对比学习目标显式增强跨模态扩散模型中的输入-输出对应关系，以最大化互信息。通过将对比损失与去噪扩散相结合，CDCD 提升了生成保真度，将所需扩散步数减少 35% 以上，并在音乐-音频和图像生成任务中实现了最先进或具有竞争力的结果，同时具备更强的跨模态对齐能力。

ABSTRACT

Diffusion probabilistic models (DPMs) have become a popular approach to conditional generation, due to their promising results and support for cross-modal synthesis. A key desideratum in conditional synthesis is to achieve high correspondence between the conditioning input and generated output. Most existing methods learn such relationships implicitly, by incorporating the prior into the variational lower bound. In this work, we take a different route -- we explicitly enhance input-output connections by maximizing their mutual information. To this end, we introduce a Conditional Discrete Contrastive Diffusion (CDCD) loss and design two contrastive diffusion mechanisms to effectively incorporate it into the denoising process, combining the diffusion training and contrastive learning for the first time by connecting it with the conventional variational objectives. We demonstrate the efficacy of our approach in evaluations with diverse multimodal conditional synthesis tasks: dance-to-music generation, text-to-image synthesis, as well as class-conditioned image synthesis. On each, we enhance the input-output correspondence and achieve higher or competitive general synthesis quality. Furthermore, the proposed approach improves the convergence of diffusion models, reducing the number of required diffusion steps by more than 35% on two benchmarks, significantly increasing the inference speed.

研究动机与目标

• 为解决条件扩散模型中缺乏显式输入-输出对应关系的问题，此类问题常导致条件输入与生成输出之间的对齐较弱。
• 通过显式最大化条件输入与生成输出之间的互信息，提升跨模态生成的忠实度。
• 以一种增强训练稳定性和推理效率的方式，将对比学习与扩散建模相结合。
• 在多种条件合成任务中（包括文本到图像、类别条件生成以及舞蹈到音乐生成）证明 CDCD 的有效性。

提出的方法

• 提出一种条件离散对比扩散（CDCD）损失，显式最大化条件输入与生成输出之间的互信息。
• 设计两种对比扩散机制：逐步并行扩散与样本级辅助扩散，以有效将 CDCD 损失融入去噪过程。
• 将 CDCD 损失与传统的变分下界目标相结合，实现在训练过程中联合优化两个目标。
• 引入内部与跨样本负采样策略，通过提供无序和实例级别的负样本，提升对比学习效果。
• 采用下采样对比步长策略，在保持性能的同时降低计算成本，灵感来源于无分类器引导。
• 对高保真音频输出应用去噪处理，以提升感知质量，尽管音频质量并非本文主要关注点。

实验结果

研究问题

• RQ1 显式互信息最大化是否能改善条件扩散模型在跨模态生成中的输入-输出对应关系？
• RQ2 将对比学习与扩散训练相结合，对收敛速度和推理效率有何影响？
• RQ3 CDCD 在多样化跨模态任务（如文本到图像和舞蹈到音乐生成）中，对生成质量和对齐程度的提升程度如何？
• RQ4 对比损失强度（λ）和采样策略对模型性能与训练稳定性的影响如何？
• RQ5 CDCD 框架能否在不同模态的连续与离散条件输入上均有效应用？

主要发现

• 在两个基准测试中，CDCD 将所需扩散步数减少超过 35%，显著加速推理过程，且未牺牲生成质量。
• 该方法在三项任务中达到最先进或具有竞争力的性能：舞蹈到音乐生成、文本到图像生成以及类别条件图像合成。
• 在舞蹈到音乐生成任务中，节拍对齐得分达到 93.9% 覆盖率与 90.7% 命中率，表明具有强大的跨模态对应能力。
• 消融实验表明，λ = 5e-5 在性能与训练稳定性之间提供了良好平衡，且对超参数变化的敏感性较低。
• 下采样对比步长策略在仅造成轻微性能下降（如 Tc=80 时覆盖率为 93.4%，Tc=100 时为 93.9%）的前提下显著降低计算成本，证实了效率优势。
• CDCD 损失作为有效的辅助正则化项，提升了模型在多样化条件生成任务中的收敛速度与泛化能力。