[论文解读] Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models

Simian Luo, Chuanhao Yan+2 more|arXiv (Cornell University)|Jun 29, 2023

Music and Audio Processing被引用 7

一句话总结

Diff-Foley 提出了一种基于潜在扩散模型（LDM）的视频到音频生成方法，通过利用对比音频-视觉预训练（CAVP）学习时间上和语义上对齐的特征，从而实现最先进性能。这些特征被用于在频谱图潜在空间中对LDM进行条件控制。该方法引入了‘双重引导’机制，结合无分类器引导（classifier-free guidance, CFG）与对齐分类器引导（alignment classifier guidance, CG），在VGGSound数据集上实现了62.37的Inception Score，显著优于先前方法如SpecVQGAN（IS: 30.01）。

ABSTRACT

The Video-to-Audio (V2A) model has recently gained attention for its practical application in generating audio directly from silent videos, particularly in video/film production. However, previous methods in V2A have limited generation quality in terms of temporal synchronization and audio-visual relevance. We present Diff-Foley, a synchronized Video-to-Audio synthesis method with a latent diffusion model (LDM) that generates high-quality audio with improved synchronization and audio-visual relevance. We adopt contrastive audio-visual pretraining (CAVP) to learn more temporally and semantically aligned features, then train an LDM with CAVP-aligned visual features on spectrogram latent space. The CAVP-aligned features enable LDM to capture the subtler audio-visual correlation via a cross-attention module. We further significantly improve sample quality with `double guidance'. Diff-Foley achieves state-of-the-art V2A performance on current large scale V2A dataset. Furthermore, we demonstrate Diff-Foley practical applicability and generalization capabilities via downstream finetuning. Project Page: see https://diff-foley.github.io/

研究动机与目标

• 解决现有视频到音频（V2A）生成方法中缺乏时间同步与音频-视觉相关性的问题。
• 通过在成对视频-音频数据上进行对比预训练，学习细粒度的音频-视觉相关性，以提升生成质量。
• 利用在语义对齐视觉特征上条件控制的潜在扩散模型，实现高保真度且同步的音频生成。
• 通过在下游任务上的微调，验证方法的实际应用潜力与泛化能力。
• 克服先前方法依赖弱对齐或非音频引导视觉特征（如RGB+Flow）的局限性。

提出的方法

• 利用对比音频-视觉预训练（CAVP）从成对视频-音频数据中学习时间与语义对齐的视觉与音频特征。
• 在频谱图潜在空间中，将潜在扩散模型（LDM）基于CAVP对齐的视觉特征进行条件控制，以生成具有更好音频-视觉对齐效果的音频。
• 在反向去噪过程中，联合应用无分类器引导（CFG）与对齐分类器引导（CG），引入‘双重引导’机制，以优化样本质量。
• 使用冻结的Stable Diffusion V1.4潜在编码器与解码器，将梅尔频谱图映射至潜在空间并返回，利用其强大的重建能力。
• 在梅尔频谱图的潜在空间中训练LDM，使用CAVP特征作为上下文，引导音频生成实现精确的时间同步。
• 在训练中结合使用无分类器引导（CFG尺度ω）与对齐分类器引导（CG尺度γ），以平衡语义保真度与音频-视觉对齐程度。

实验结果

研究问题

• RQ1 对比音频-视觉预训练是否能提升视频到音频生成中对细微音频-视觉相关性的建模能力？
• RQ2 在CAVP对齐的视觉特征上条件控制潜在扩散模型，是否能带来更好的时间同步与音频-视觉相关性？
• RQ3 ‘双重引导’（结合无分类器引导与对齐分类器引导）是否能显著提升样本质量，超越单一引导方法？
• RQ4 预训练的SD-V1.4潜在自编码器在梅尔频谱图的高保真重建方面表现如何？
• RQ5 预训练的Diff-Foley模型是否可通过下游微调有效适应各类V2A任务，体现其泛化能力与实际应用价值？

主要发现

• Diff-Foley在VGGSound数据集上实现了最先进的Inception Score（IS）为62.37，显著优于基线方法SpecVQGAN（IS: 30.01）。
• 使用CAVP对齐的视觉特征使LDM能够捕捉更精细的音频-视觉相关性，从而提升时间同步性与语义相关性。
• ‘双重引导’技术通过结合CFG提供的稳健噪声方向与CG带来的精细化调整，显著提升了样本质量，生成更准确、更逼真的音频。
• 冻结的SD-V1.4潜在编码器与解码器在梅尔频谱图上表现出强大的重建能力，MSE为0.00264，KL散度为1.44，但FID（9.20）表明仍有改进空间。
• 可视化结果表明，冻结的自编码器能良好保留频谱细节，支持在潜在空间中实现高质量音频合成。
• 下游微调实验验证了该模型在多样化V2A任务中的实际应用潜力与泛化能力。