[论文解读] Towards Audio to Scene Image Synthesis using Generative Adversarial Network

Chia-Hung Wan, Shun-Po Chuang+1 more|arXiv (Cornell University)|Aug 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 3

一句话总结

本文提出了一种条件生成对抗网络（cGAN），通过音频输入合成场景图像，利用谱归一化、投影判别器、铰链损失和辅助分类器来提升图像质量和语义一致性。该模型在图像生成质量方面达到SOTA的Inception分数2.83，并在人类评估中表现出生成图像与输入声音之间较强的关联性，73%的参与者选择图像为与音频相关。

ABSTRACT

Humans can imagine a scene from a sound. We want machines to do so by using conditional generative adversarial networks (GANs). By applying the techniques including spectral norm, projection discriminator and auxiliary classifier, compared with naive conditional GAN, the model can generate images with better quality in terms of both subjective and objective evaluations. Almost three-fourth of people agree that our model have the ability to generate images related to sounds. By inputting different volumes of the same sound, our model output different scales of changes based on the volumes, showing that our model truly knows the relationship between sounds and images to some extent.

研究动机与目标

• 开发一种机器学习模型，能够从音频输入生成逼真的场景图像，模拟人类的听觉想象能力。
• 通过从现有视频数据中构建配对的音视频数据集，填补音频条件下的跨模态生成模型的空白。
• 利用先进的GAN训练技术，提升音频到图像生成中的图像质量和语义一致性。
• 评估模型是否学习到声音特征（如音量）与视觉输出之间的有意义关系。

提出的方法

• 模型采用条件生成对抗网络框架，其中音频嵌入作为图像生成的条件。
• 应用谱归一化以稳定训练过程并提升生成器的泛化能力。
• 使用投影判别器，通过将真实与生成特征投影到共享空间来增强特征判别能力。
• 采用铰链损失以提升生成对抗网络目标函数的训练稳定性和收敛性。
• 集成辅助分类器，引导生成器生成与特定音频类别一致的图像。
• 利用预训练的图像和声音分类模型，从SoundNet数据集中清洗并构建配对的音频-图像数据集，筛选并关联相关音频片段与对应视频帧。

实验结果

研究问题

• RQ1 条件生成对抗网络能否从音频输入生成逼真且语义相关的场景图像？
• RQ2 诸如谱归一化和投影判别器等先进GAN技术是否能提升音频到图像合成中的图像质量和多样性？
• RQ3 模型是否能根据音频音量调节图像内容，表明其对声音强度的理解？
• RQ4 人类评估者在多大程度上感知到生成图像与输入声音之间的相关性？

主要发现

• 所提出的模型实现了2.83的Inception分数，显著优于基线条件生成对抗网络，接近4.44的上限。
• 人类评估显示，采用所有先进技术的模型平均得分为5分制中的3.70分，表明其生成结果具有较强的逼真感和相关性。
• 73%的参与者正确选择了与所听音频对应的生成图像，证明模型具备生成语义相关输出的能力。
• 当同一声音以不同音量输入时，模型生成的图像相应地表现出尺度变化，表明其对音频强度具有学习到的敏感性。
• 消融实验证实，每项先进技术（如投影判别器、辅助分类器）均对图像质量与人类感知的提升起到了逐步贡献。