[论文解读] Cascade Attention Guided Residue Learning GAN for Cross-Modal Translation

Bin Duan, Wei Wang+3 more|arXiv (Cornell University)|Jul 3, 2019

Music and Audio Processing参考文献 39被引用 7

一句话总结

本文提出CAR-GAN，一种两阶段级联注意力引导生成对抗网络，配备残差学习模块，用于跨模态音频到图像的转换。通过用从类别预测中提取的语义残差标签替代随机噪声，该模型逐步优化图像生成，在Sub-URMP数据集上实现了最先进性能，相比基线模型FID指标提升45.44%。

ABSTRACT

Since we were babies, we intuitively develop the ability to correlate the input from different cognitive sensors such as vision, audio, and text. However, in machine learning, this cross-modal learning is a nontrivial task because different modalities have no homogeneous properties. Previous works discover that there should be bridges among different modalities. From neurology and psychology perspective, humans have the capacity to link one modality with another one, e.g., associating a picture of a bird with the only hearing of its singing and vice versa. Is it possible for machine learning algorithms to recover the scene given the audio signal? In this paper, we propose a novel Cascade Attention-Guided Residue GAN (CAR-GAN), aiming at reconstructing the scenes given the corresponding audio signals. Particularly, we present a residue module to mitigate the gap between different modalities progressively. Moreover, a cascade attention guided network with a novel classification loss function is designed to tackle the cross-modal learning task. Our model keeps the consistency in high-level semantic label domain and is able to balance two different modalities. The experimental results demonstrate that our model achieves the state-of-the-art cross-modal audio-visual generation on the challenging Sub-URMP dataset. Code will be available at https://github.com/tuffr5/CAR-GAN.

研究动机与目标

• 解决音频与图像模态之间在跨模态生成中存在较大的语义与表征鸿沟。
• 通过引入语义残差模块，消除对随机潜在向量的依赖，实现渐进式优化。
• 通过联合分类损失，保持音频与生成图像模态之间的高层语义一致性。
• 通过包含自注意力机制的两阶段生成器架构，提升图像的真实感与细节表现。
• 在具有挑战性的Sub-URMP数据集上实现音频到图像转换的最先进性能。

提出的方法

• 采用两阶段生成器架构：第一阶段生成器（G₁）从音频的对数梅尔频谱图（LMS）和类别标签生成粗略图像；第二阶段生成器（G₂）利用残差模块进行细化。
• 残差模块计算粗略图像的预测类别与真实音频类别之间的语义差异，生成残差标签Lᵣ。
• 在两个生成器和判别器中集成自注意力机制，以建模特征之间的长距离空间依赖关系。
• 在两个阶段应用一种新颖的级联分类损失（ℒc），以在高层类别空间中强制实现语义一致性。
• 通过对抗损失、L1重建损失以及所提出的分类损失，实现端到端训练。
• 残差模块通过聚焦第一阶段输出中缺失或错误的语义特征，实现渐进式优化。

实验结果

研究问题

• RQ1 采用语义残差学习的两阶段GAN是否能够超越单阶段模型，在音频到图像转换中取得更好效果？
• RQ2 用学习到的语义残差标签替代随机潜在向量，对生成质量有何影响？
• RQ3 级联注意力机制在跨模态转换中，对特征表示与图像细节的增强程度如何？
• RQ4 联合分类损失是否能提升语义一致性并减少跨模态GAN中的模式崩溃？
• RQ5 所提出方法在Sub-URMP基准上与最先进方法相比表现如何？

主要发现

• 所提出的CAR-GAN相比未使用残差模块的基线模型，FID得分提升45.44%。
• 与基线相比，模型在Inception Score（IS）上提升84.45%，表明生成图像质量更高且多样性更强。
• 移除分类损失（ℒc）后，FID性能下降37.56%，证实其在语义引导中的关键作用。
• 与单生成器设置相比，两阶段生成策略使FID降低32.53%，IS提升2.59%。
• 消融实验表明，注意力机制增强了特征表示，减少了生成图像中的细节缺失。
• L1正则化器稳定了训练过程，且在不同L1权重设置下性能保持稳定，表明无过拟合现象。