[论文解读] Emotion-Based End-to-End Matching Between Image and Music in Valence-Arousal Space

Sicheng Zhao, Yaxian Li+5 more|arXiv (Cornell University)|Aug 22, 2020

Music and Audio Processing参考文献 87被引用 4

一句话总结

本文提出了一种新颖的端到端框架——跨模态深度连续度量学习（CDCML），用于在连续的愉悦度-唤醒度（VA）空间中进行基于情感的图像与音乐匹配。通过在共享嵌入空间中联合优化跨模态相似性与单模态VA情感关系，CDCML在新构建的大规模数据集IMEMNET上实现了最先进性能，相较于先前方法，MSE相对提升了22.1%，MAE相对提升了5.4%。

ABSTRACT

Both images and music can convey rich semantics and are widely used to induce specific emotions. Matching images and music with similar emotions might help to make emotion perceptions more vivid and stronger. Existing emotion-based image and music matching methods either employ limited categorical emotion states which cannot well reflect the complexity and subtlety of emotions, or train the matching model using an impractical multi-stage pipeline. In this paper, we study end-to-end matching between image and music based on emotions in the continuous valence-arousal (VA) space. First, we construct a large-scale dataset, termed Image-Music-Emotion-Matching-Net (IMEMNet), with over 140K image-music pairs. Second, we propose cross-modal deep continuous metric learning (CDCML) to learn a shared latent embedding space which preserves the cross-modal similarity relationship in the continuous matching space. Finally, we refine the embedding space by further preserving the single-modal emotion relationship in the VA spaces of both images and music. The metric learning in the embedding space and task regression in the label space are jointly optimized for both cross-modal matching and single-modal VA prediction. The extensive experiments conducted on IMEMNet demonstrate the superiority of CDCML for emotion-based image and music matching as compared to the state-of-the-art approaches.

研究动机与目标

• 为解决现有基于情感的图像与音乐匹配方法的局限性，这些方法依赖于粗粒度的分类情感标签和多阶段流水线。
• 实现共享潜在嵌入空间的端到端学习，以同时保留跨模态相似性与单模态情感关系，且在连续的愉悦度-唤醒度（VA）空间中进行建模。
• 构建一个大规模、公开可用的数据集IMEMNET，包含超过14万个带有连续VA情感标签的图像-音乐配对。
• 联合优化嵌入空间中的度量学习与标签空间中的回归任务，以同时实现跨模态匹配与单模态VA预测。
• 证明在跨模态与单模态空间中保留情感关系可提升泛化能力与性能表现。

提出的方法

• 构建了IMEMNET，一个包含140,000对图像-音乐的大型数据集，其带有连续愉悦度-唤醒度（VA）情感标注。
• 提出跨模态深度连续度量学习（CDCML），一种多任务学习框架，联合优化跨模态相似性与单模态VA情感关系。
• 采用共享的类孪生网络架构，将图像与音乐嵌入到共享潜在空间中，通过MSE、特征比值与特征边界损失来保持跨模态相似性。
• 通过在嵌入空间中应用VA MSE损失与单模态特征比值损失，引入单模态监督，以保留模态内的情感关系。
• 使用多任务头，从共享嵌入中同时预测匹配相似性与连续VA值。
• 通过结合跨模态与单模态监督的复合损失，实现整个网络的端到端优化。

实验结果

研究问题

• RQ1 与多阶段流水线相比，共享嵌入空间中的端到端学习是否能提升基于情感的图像与音乐匹配性能？
• RQ2 在跨模态与单模态空间中同时保留连续愉悦度-唤醒度（VA）情感关系，是否能提升匹配性能？
• RQ3 联合优化匹配相似性与VA预测在多大程度上提升了模型的泛化能力与鲁棒性？
• RQ4 引入连续VA监督如何影响所学习嵌入的判别能力？
• RQ5 像IMEMNET这样大规模、公开可用的数据集，是否能实现情感驱动的图像-音乐匹配模型的公平且可复现的基准测试？

主要发现

• 与最佳现有方法ACP-Net相比，CDCML在匹配相似性预测的均方误差（MSE）上实现了22.1%的相对提升。
• 该方法在相似性预测的平均绝对误差（MAE）上表现出5.4%的相对提升，显示出更优的回归性能。
• 引入跨模态特征比值损失显著提升了匹配相似性预测与单模态VA预测的性能，表明特征判别能力得到增强。
• 增加单模态VA MSE与特征比值损失进一步提升了性能，尤其在VA预测方面，证实了模态内情感结构的重要性。
• 定性可视化显示，CDCML能够成功匹配具有相似连续VA情感的图像与音乐，例如将悲伤的音乐与忧郁的图像配对。
• 消融实验表明，联合优化跨模态与单模态监督比单独使用任一损失均能带来更好的泛化性能。