[论文解读] Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis

Alexander Schindler|arXiv (Cornell University)|Feb 1, 2020

Music and Audio Processing参考文献 274被引用 7

一句话总结

本文提出通过音乐视频中的视觉特征来增强基于音频的音乐信息检索（MIR），以提升流派分类和情绪识别等任务的性能。通过引入能够捕捉节奏模式的新颖视觉特征，并利用深度学习进行高层概念检测，研究结果表明，音视频模型相比仅使用音频的基线模型性能最高提升16.43%，验证了音乐相关视觉语言的存在。

ABSTRACT

This thesis combines audio-analysis with computer vision to approach Music Information Retrieval (MIR) tasks from a multi-modal perspective. This thesis focuses on the information provided by the visual layer of music videos and how it can be harnessed to augment and improve tasks of the MIR research domain. The main hypothesis of this work is based on the observation that certain expressive categories such as genre or theme can be recognized on the basis of the visual content alone, without the sound being heard. This leads to the hypothesis that there exists a visual language that is used to express mood or genre. In a further consequence it can be concluded that this visual information is music related and thus should be beneficial for the corresponding MIR tasks such as music genre classification or mood recognition. A series of comprehensive experiments and evaluations are conducted which are focused on the extraction of visual information and its application in different MIR tasks. A custom dataset is created, suitable to develop and test visual features which are able to represent music related information. Evaluations range from low-level visual features to high-level concepts retrieved by means of Deep Convolutional Neural Networks. Additionally, new visual features are introduced capturing rhythmic visual patterns. In all of these experiments the audio-based results serve as benchmark for the visual and audio-visual approaches. The experiments are conducted for three MIR tasks Artist Identification, Music Genre Classification and Cross-Genre Classification. Experiments show that an audio-visual approach harnessing high-level semantic information gained from visual concept detection, outperforms audio-only genre-classification accuracy by 16.43%.

研究动机与目标

• 探究音乐视频中的视觉内容是否能在无音频的情况下独立传达与音乐相关的资讯，如流派或情绪。
• 开发并评估能够表示MIR任务中音乐相关语义的视觉特征。
• 构建一个定制数据集，用于训练和评估音乐视频分析中的视觉特征。
• 验证视觉刻板印象（例如乡村音乐中的牛仔帽）是否被系统性地使用并可被自动检测。
• 证明音视频融合在MIR任务中的性能提升优于仅使用音频的基线模型。

提出的方法

• 在音乐学与音乐心理学领域开展文献综述，分析音乐视频和专辑封面中视觉品牌在历史与产业中的应用。
• 构建一个定制的音乐视频数据集，以支持视觉特征提取方法的训练与评估。
• 使用深度卷积神经网络（DCNNs）提取低层次视觉特征（如颜色、纹理）和高层语义概念。
• 提出专为捕捉音乐视频中节奏性视觉模式而设计的新颖视觉特征。
• 在三项MIR任务（歌手识别、音乐流派分类、跨流派分类）上，将视觉模型与音视频模型与仅使用音频的基线模型进行对比评估。
• 通过与仅使用音频的模型进行基准对比，量化视觉模态集成带来的性能提升。

实验结果

研究问题

• RQ1 在无音频的情况下，音乐视频中的视觉内容是否能够独立传达与音乐相关的资讯，如流派或情绪？
• RQ2 视觉刻板印象（例如乡村音乐中的牛仔帽）与音乐流派的相关性如何？是否可通过自动化分析检测？
• RQ3 特别是针对捕捉节奏性视觉模式的新型视觉特征，在表示音乐相关语义方面有多高效？
• RQ4 与仅使用音频的方法相比，结合视觉与音频特征在MIR任务中的性能提升程度如何？
• RQ5 高层视觉概念检测能否增强基于音频的MIR系统？提升幅度有多大？

主要发现

• 研究证实，如美国乡村音乐中使用的牛仔帽等视觉刻板印象被系统性地使用，并可通过自动化分析检测。
• 仅使用视觉特征即可捕捉与音乐相关的信息，支持了音乐相关视觉语言存在的假设。
• 所提出的视觉特征，包括用于捕捉节奏性视觉模式的特征，能有效表示视频内容中的音乐相关语义。
• 音视频模型在所有评估的MIR任务中均持续优于仅使用音频的基线模型。
• 最佳音视频方法在流派分类任务中相比仅使用音频的基线模型实现了最高16.43%的性能提升。
• 高层视觉概念检测显著提升了MIR性能，证明了语义视觉信息在多模态系统中的价值。