[论文解读] CMCGAN: A Uniform Framework for Cross-Modal Visual-Audio Mutual Generation

Wangli Hao, Zhaoxiang Zhang+1 more|arXiv (Cornell University)|Nov 22, 2017

Image Enhancement Techniques被引用 8

一句话总结

该论文提出CMCGAN，一种统一的循环生成对抗网络（GAN）框架，用于跨模态视觉-音频相互生成，实现了音频到视觉和视觉到音频翻译的端到端学习。通过利用潜在向量的对抗性训练与循环一致性架构，CMCGAN有效处理了模态间的非对称性，并实现了最先进的生成质量，从而在存在缺失数据的多模态任务中表现出鲁棒性能。

ABSTRACT

Visual and audio modalities are two symbiotic modalities underlying videos, which contain both common and complementary information. If they can be mined and fused sufficiently, performances of related video tasks can be significantly enhanced. However, due to the environmental interference or sensor fault, sometimes, only one modality exists while the other is abandoned or missing. By recovering the missing modality from the existing one based on the common information shared between them and the prior information of the specific modality, great bonus will be gained for various vision tasks. In this paper, we propose a Cross-Modal Cycle Generative Adversarial Network (CMCGAN) to handle cross-modal visual-audio mutual generation. Specifically, CMCGAN is composed of four kinds of subnetworks: audio-to-visual, visual-to-audio, audio-to-audio and visual-to-visual subnetworks respectively, which are organized in a cycle architecture. CMCGAN has several remarkable advantages. Firstly, CMCGAN unifies visual-audio mutual generation into a common framework by a joint corresponding adversarial loss. Secondly, through introducing a latent vector with Gaussian distribution, CMCGAN can handle dimension and structure asymmetry over visual and audio modalities effectively. Thirdly, CMCGAN can be trained end-to-end to achieve better convenience. Benefiting from CMCGAN, we develop a dynamic multimodal classification network to handle the modality missing problem. Abundant experiments have been conducted and validate that CMCGAN obtains the state-of-the-art cross-modal visual-audio generation results. Furthermore, it is shown that the generated modality achieves comparable effects with those of original modality, which demonstrates the effectiveness and advantages of our proposed method.

研究动机与目标

• 解决由于传感器故障或环境干扰导致视频中视觉或音频模态缺失的挑战。
• 开发一种统一的深度学习框架，实现视觉与音频模态之间的双向生成。
• 在跨模态生成过程中克服视觉与音频模态在结构和维度上的非对称性。
• 实现端到端训练，以提升多模态视频理解任务中特征表示与性能的便利性与效率。
• 证明生成模态在模态缺失条件下对下游分类任务性能的增强作用。

提出的方法

• 设计一个包含四个子网络的循环生成对抗网络架构：音频到视觉、视觉到音频、音频到音频、视觉到视觉，形成闭环生成循环。
• 引入具有高斯分布的潜在向量以建模模态特异性先验，解决音频与视觉特征之间的维度与结构差异。
• 在所有子网络上应用联合对抗性损失函数，以强制实现真实感生成并保持循环结构的一致性。
• 通过对抗性优化方法对整个网络进行端到端训练，以提升特征表示能力与生成保真度。
• 将训练好的CMCGAN集成到动态多模态分类网络中，以应对现实世界中的模态缺失场景。
• 利用循环一致性损失确保通过反向生成器重建的模态在与原始模态对比时保持高度接近。

实验结果

研究问题

• RQ1 统一的深度生成框架能否有效实现视觉与音频模态之间的双向跨模态生成？
• RQ2 在跨模态生成中，如何有效解决视觉与音频模态之间的维度与结构非对称性？
• RQ3 生成的模态在多模态视频理解任务中，能在多大程度上替代真实模态？
• RQ4 与分阶段训练相比，循环生成对抗网络框架的端到端训练是否能提升生成质量与鲁棒性？
• RQ5 当某一模态缺失时，生成的模态是否能提升多模态分类任务的性能？

主要发现

• CMCGAN在跨模态视觉-音频生成任务中达到最先进性能，在基准数据集上优于现有方法。
• 通过定性与定量评估验证，生成的音频与视觉模态在质量上与真实模态相当。
• 通过引入高斯分布潜在向量，该方法有效解决了模态非对称性问题，实现了稳定训练与高保真度生成。
• CMCGAN的端到端训练相比其他训练策略，显著提升了生成质量并加快了收敛速度。
• 由CMCGAN增强的动态多模态分类网络在某一模态缺失时仍表现出强大性能，证明了生成数据的实际应用价值。
• 循环一致性损失显著提升了生成样本的保真度与连贯性，确保生成模态保留原始模态的关键语义内容。