[论文解读] I Hear Your True Colors: Image Guided Audio Generation

Roy Sheffer, Yossi Adi|arXiv (Cornell University)|Nov 6, 2022

Music and Audio Processing被引用 5

一句话总结

本文提出 Im2Wav，一种新颖的图像引导音频生成系统，该系统利用基于两阶段 Transformer 的语言模型，以 CLIP 编码的图像特征为条件，从图像或视频生成语义相关的音频。该方法在音频保真度和视觉相关性方面均达到最先进性能，在 FAD、Clip-Score 和 KL 散度等指标上显著优于基线模型，并引入了 ImageHear 基准用于分布外评估。

ABSTRACT

We propose Im2Wav, an image guided open-domain audio generation system. Given an input image or a sequence of images, Im2Wav generates a semantically relevant sound. Im2Wav is based on two Transformer language models, that operate over a hierarchical discrete audio representation obtained from a VQ-VAE based model. We first produce a low-level audio representation using a language model. Then, we upsample the audio tokens using an additional language model to generate a high-fidelity audio sample. We use the rich semantics of a pre-trained CLIP (Contrastive Language-Image Pre-training) embedding as a visual representation to condition the language model. In addition, to steer the generation process towards the conditioning image, we apply the classifier-free guidance method. Results suggest that Im2Wav significantly outperforms the evaluated baselines in both fidelity and relevance evaluation metrics. Additionally, we provide an ablation study to better assess the impact of each of the method components on overall performance. Lastly, to better evaluate image-to-audio models, we propose an out-of-domain image dataset, denoted as ImageHear. ImageHear can be used as a benchmark for evaluating future image-to-audio models. Samples and code can be found inside the manuscript.

研究动机与目标

• 开发一种开放域、图像引导的音频生成系统，无需类别标签或配对的文本-音频数据，即可生成语义相关的音频。
• 通过利用视频中自然存在的图像-音频配对，克服大规模文本-音频配对数据集稀缺的问题。
• 通过分层离散标记建模方法，提升图像到音频生成中的音频保真度和视觉相关性。
• 通过引入 ImageHear 基准数据集，实现图像到音频模型评估的标准化。
• 研究关键组件（如无分类器引导、上采样和逐帧条件）对生成质量的影响。

提出的方法

• Im2Wav 使用分层 VQ-VAE 将原始音频转换为低分辨率级别的离散标记。
• 第一阶段自回归 Transformer 语言模型在 CLIP 编码图像特征的条件下，生成低层级离散音频标记。
• 第二阶段自回归 Transformer 将低层级标记上采样至更高分辨率，以提升音频保真度。
• 应用无分类器引导以改善生成音频与输入图像之间的对齐，增强视觉相关性。
• 系统可基于单张图像或图像序列（视频）进行条件控制，每帧的 CLIP 特征被提取。
• 音频生成通过两阶段模型自回归采样完成，随后通过 VQ-VAE 解码器进行解码。

实验结果

研究问题

• RQ1 能否将文本到语音风格的语言模型架构适配为在无需文本或类别标签的情况下，从图像生成高保真度、语义相关的音频？
• RQ2 与其它视觉表征相比，基于 CLIP 嵌入的图像特征在音频相关性和质量方面表现如何？
• RQ3 无分类器引导在开放域音频生成中对提升图像-音频对齐效果有何影响？
• RQ4 各独立组件（上采样、逐帧条件、无分类器引导）对最终音频生成性能的影响如何？
• RQ5 像 ImageHear 这样的新型分布外基准能否为图像到音频生成模型提供可靠且标准化的评估协议？

主要发现

• Im2Wav 实现了 6.41 的 Fréchet 音频距离（FAD），显著优于次佳基线模型的 8.86 FAD。
• 在 ImageHear 基准上，Im2Wav 达到 9.53 的 Clip-Score（CS）和 49.14% 的音频分类器准确率，表明其具有强大的视觉相关性和类别分布对齐能力。
• 无分类器引导（CFG）显著提升了视觉相关性，当与上采样结合时，CS 从 7.30 提升至 9.53，准确率从 26.67% 提升至 49.14%。
• 引入上采样模型后，FAD 从 12.47 降低至 6.41，表明音频保真度得到显著提升。
• 消融实验表明，CFG 和上采样对性能具有强大且独立的影响，而逐帧条件（Every）的影响较小且边际。
• 所提出的 ImageHear 基准实现了可靠的分布外评估，结果显示模型在单张图像上的表现优于复杂视频序列。