[论文解读] Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint

Sungeun Hong, Woobin Im+1 more|arXiv (Cornell University)|Apr 22, 2017

Music and Audio Processing参考文献 43被引用 12

一句话总结

本文提出 VM-NET，一种用于基于内容的视频-音乐检索的深度神经网络，采用跨模态排序损失和一种新颖的软模态内结构约束，以保留模态特异性特征。该方法在新的 200K 视频-音乐基准上实现了最先进性能，在定量 Recall@K 和定性人类偏好评估中均优于先前方法。

ABSTRACT

Up to now, only limited research has been conducted on cross-modal retrieval of suitable music for a specified video or vice versa. Moreover, much of the existing research relies on metadata such as keywords, tags, or associated description that must be individually produced and attached posterior. This paper introduces a new content-based, cross-modal retrieval method for video and music that is implemented through deep neural networks. We train the network via inter-modal ranking loss such that videos and music with similar semantics end up close together in the embedding space. However, if only the inter-modal ranking constraint is used for embedding, modality-specific characteristics can be lost. To address this problem, we propose a novel soft intra-modal structure loss that leverages the relative distance relationship between intra-modal samples before embedding. We also introduce reasonable quantitative and qualitative experimental protocols to solve the lack of standard protocols for less-mature video-music related tasks. Finally, we construct a large-scale 200K video-music pair benchmark. All the datasets and source code can be found in our online repository (https://github.com/csehong/VM-NET).

研究动机与目标

• 为解决视频与音乐之间缺乏无需元数据的基于内容的跨模态检索方法的问题。
• 克服仅使用跨模态排序损失时模态特异性特征（如音乐中的节奏、视频中的纹理）丢失的问题。
• 由于此类数据集稀缺，建立大规模、公开可用的视频-音乐检索基准。
• 为基于内容的视频-音乐检索（CBVMR）开发标准化的定量与定性评估协议，因为目前尚无 established benchmarks。
• 仅使用原始内容（而非元数据）实现双向检索——即为视频寻找合适的音乐，反之亦然。

提出的方法

• 提出一种双分支深度神经网络（VM-NET），将视频帧和音频信号嵌入共享潜在空间。
• 使用跨模态排序损失训练网络，以确保语义相似的视频-音乐对在嵌入空间中彼此接近。
• 引入一种软模态内结构损失，以在嵌入前保留每个模态内样本之间的相对距离关系。
• 该软模态内损失无需真实模态内配对样本，因此适用于弱监督设置。
• 利用现有音乐视频，通过将同一视频中的音频与视觉片段视为正样本对，构建 200,500 个视频-音乐对。
• 结合定量 Recall@K 与一种新颖的人类偏好评估方法，以验证检索质量。

实验结果

研究问题

• RQ1 仅使用内容而无需依赖元数据，深度神经网络能否有效学习视频与音乐之间的语义对齐？
• RQ2 引入软模态内结构损失是否能通过保留模态特异性特征（如节奏、纹理）来提升检索性能？
• RQ3 与现有方法相比，该方法在大规模真实世界视频-音乐基准上的有效性如何？
• RQ4 人类受试者在多大程度上更偏好模型检索结果而非随机匹配或真实匹配，从而体现其在现实世界中的相关性？
• RQ5 该模型能否泛化至官方音乐视频之外，包括用户生成内容和恶搞内容？

主要发现

• 所提出的软模态内结构损失通过保留如音乐中的节奏、视频中的纹理等模态特异性特征，显著提升了检索性能。
• 在新的 HIMV-200K 基准上，VM-NET 在 Recall@K 上实现了最先进性能，为未来 CBVMR 研究建立了定量基线。
• 人类偏好评估显示，80% 的受试者更偏好真实匹配而非随机匹配，验证了数据集与模型的质量。
• 在 70% 的情况下，受试者更偏好模型结果（S）而非随机匹配（R），表明模型生成的结果质量高且符合人类接受度。
• 该模型在官方音乐视频之外也表现出良好的泛化能力，能成功从用户生成和恶搞视频中检索到相关的内容。
• 机器对真实匹配优于随机匹配的偏好（G > R）与人类表现高度一致，表明嵌入空间与人类感知高度对齐。