[论文解读] Deep Cross-Modal Audio-Visual Generation

Lele Chen, Sudhanshu Srivastava+2 more|arXiv (Cornell University)|Apr 26, 2017

Music and Audio Processing参考文献 31被引用 7

一句话总结

本论文提出了首个基于条件生成对抗网络（cGANs）的跨模态音视频生成深度生成模型，实现了从音频生成视觉图像，以及从视觉图像生成音频频谱图。该方法在乐器级别和姿态级别生成任务中表现优异，经分类模型与人工评估验证，同时贡献了两个新数据集：Sub-URMP 和 INIS。

ABSTRACT

Cross-modal audio-visual perception has been a long-lasting topic in psychology and neurology, and various studies have discovered strong correlations in human perception of auditory and visual stimuli. Despite works in computational multimodal modeling, the problem of cross-modal audio-visual generation has not been systematically studied in the literature. In this paper, we make the first attempt to solve this cross-modal generation problem leveraging the power of deep generative adversarial training. Specifically, we use conditional generative adversarial networks to achieve cross-modal audio-visual generation of musical performances. We explore different encoding methods for audio and visual signals, and work on two scenarios: instrument-oriented generation and pose-oriented generation. Being the first to explore this new problem, we compose two new datasets with pairs of images and sounds of musical performances of different instruments. Our experiments using both classification and human evaluations demonstrate that our model has the ability to generate one modality, i.e., audio/visual, from the other modality, i.e., visual/audio, to a good extent. Our experiments on various design choices along with the datasets will facilitate future research in this new problem space.

研究动机与目标

• 解决深度学习中跨模态音视频生成缺乏系统性研究的问题。
• 探索利用成对音视频数据，通过条件 GANs 实现从一种模态（音频或视觉）生成另一种模态。
• 为音频（通过对数梅尔频谱图）和视觉（通过卷积神经网络）信号设计有效的编码与解码策略。
• 构建并发布两个新数据集——Sub-URMP 和 INIS——以支持未来音视频生成研究。
• 通过自动化分类与人工评估相结合的方式，评估生成质量。

提出的方法

• 使用条件生成对抗网络（cGANs）建模从音频到视觉（S2I）和从视觉到音频（I2S）的映射关系。
• 采用基于卷积神经网络（CNN）的编码器与转置卷积解码器，学习图像与音频的表示。
• 将原始音频转换为对数梅尔频谱图（LMS）作为输入，以提升生成质量。
• 在真实 LMS 上训练分类器，以准确率为代理指标评估生成频谱图的质量。
• 实施两种不同的生成任务：面向乐器的（S2I-C）与面向姿态的（S2I-P）图像生成。
• 在两个方向上采用对抗训练，通过判别器区分真实样本与生成样本。

实验结果

研究问题

• RQ1 条件 GANs 是否能有效从音乐演奏的音频信号中生成高质量视觉图像？
• RQ2 该模型能否从演奏乐器的视觉图像中生成逼真的音频频谱图？
• RQ3 不同音频信号表示方式（如对数梅尔频谱图与原始波形）如何影响生成质量？
• RQ4 该模型在姿态级别生成任务中的泛化能力如何，能否捕捉音乐演奏中细微的身体动作？
• RQ5 网络架构与损失函数等设计选择如何影响生成音频与视觉输出的保真度？

主要发现

• S2I-C 模型在测试集上的分类器评估准确率达到 75.56%，表明生成图像在感知上与目标乐器类别高度一致。
• I2S 模型生成的频谱图在真实/虚假分类器上的准确率为 11.17%，表明其生成结果具有一定真实性，尽管准确率较低。
• 模型成功生成了多样化的姿态图像，包括单个模型生成的多位演奏者以不同姿态呈现的图像，如图 10 所示。
• 训练动态显示，判别器性能在第 50 个周期附近急剧下降，表明出现模式崩溃或训练不稳定现象，但后期有所恢复。
• 即使仅训练 5 个周期，生成图像在训练集上的分类器准确率已达到 87.37%，表明模型能快速学习到有意义的视觉特征。
• 对数梅尔频谱图被证明是最有效的音频表示方式，优于其他时频变换方法。