[论文解读] Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval

Yi Yu, Suhua Tang+2 more|arXiv (Cornell University)|Nov 24, 2017

Music and Audio Processing参考文献 29被引用 15

一句话总结

本文提出了一种深度跨模态相关性学习框架，通过使用双分支神经网络结合模态间典型相关分析（DCCA）联合建模音频与歌词，以捕捉时间结构。该方法在双向音乐检索任务中达到最先进性能——即从音频检索歌词以及从歌词检索音频，表明端到端训练卷积层与全连接层可显著提升基线模型的检索准确率。

ABSTRACT

Little research focuses on cross-modal correlation learning where temporal structures of different data modalities such as audio and lyrics are taken into account. Stemming from the characteristic of temporal structures of music in nature, we are motivated to learn the deep sequential correlation between audio and lyrics. In this work, we propose a deep cross-modal correlation learning architecture involving two-branch deep neural networks for audio modality and text modality (lyrics). Different modality data are converted to the same canonical space where inter modal canonical correlation analysis is utilized as an objective function to calculate the similarity of temporal structures. This is the first study on understanding the correlation between language and music audio through deep architectures for learning the paired temporal correlation of audio and lyrics. Pre-trained Doc2vec model followed by fully-connected layers (fully-connected deep neural network) is used to represent lyrics. Two significant contributions are made in the audio branch, as follows: i) pre-trained CNN followed by fully-connected layers is investigated for representing music audio. ii) We further suggest an end-to-end architecture that simultaneously trains convolutional layers and fully-connected layers to better learn temporal structures of music audio. Particularly, our end-to-end deep architecture contains two properties: simultaneously implementing feature learning and cross-modal correlation learning, and learning joint representation by considering temporal structures. Experimental results, using audio to retrieve lyrics or using lyrics to retrieve audio, verify the effectiveness of the proposed deep correlation learning architectures in cross-modal music retrieval.

研究动机与目标

• 为解决音频与歌词之间跨模态相关性学习的空白，通过建模音乐中的时间结构来实现。
• 开发一种深度神经架构，在统一框架中联合学习特征表示与跨模态相关性。
• 通过音频与歌词的联合表示，实现双向音乐检索——即从音频中查询歌词，或从歌词中查询音频。
• 探究预训练模型（歌词使用Doc2vec，音频使用预训练CNN）与端到端训练在提升检索性能方面的有效性。
• 评估训练数据规模与CCA组件数量对检索性能的影响。

提出的方法

• 采用双分支深度神经网络：一个用于音频（使用预训练CNN + 全连接层，或端到端CNN/DNN），另一个用于歌词（使用预训练Doc2vec后接全连接层）。
• 将两种模态映射到共享典型空间，在该空间中使用模态间典型相关分析（DCCA）作为目标函数，以最大化音频与歌词表示之间的相关性。
• 提出一种端到端深度相关性架构，联合优化特征学习与跨模态相关性学习，同时保留两种模态中的时间结构。
• 利用DCCA通过最大化两个分支输出之间的相关性来学习联合表示，同时强制对齐时间结构。
• 采用多组件CCA/MVE策略，以探究维度对检索性能的影响。
• 采用两阶段训练策略：先在模态特定特征上进行预训练，然后结合DCCA目标进行联合训练。

实验结果

研究问题

• RQ1 深度跨模态相关性学习能否有效建模音频与歌词之间的时间相关性，以支持音乐检索？
• RQ2 与基于预训练特征提取的方法相比，卷积层与全连接层的端到端训练在音频表征学习中表现如何？
• RQ3 CCA组件数量对音频-歌词检索性能有何影响？
• RQ4 训练数据量的大小如何影响所提出的深度相关性学习模型的性能？
• RQ5 与现有方法相比，所提出的架构能否在双向检索（音频到歌词与歌词到音频）中实现更优性能？

主要发现

• 当以歌词作为查询时，端到端深度相关性架构（JointTrain-DCCA）在100个组件下达到最高的MRR1为0.375，优于所有其他配置。
• 当以音频作为查询时，JointTrain-DCCA模型的实例级MRR1为0.374，显著优于Spotify-CCA（0.354）和PretrainCNN-CCA（0.370）。
• 使用DCCA时，性能随训练数据规模增加呈线性提升，表明其泛化能力与学习容量优于CCA和MVE基线模型。
• 使用预训练Doc2vec处理歌词与预训练CNN处理音频可提供强大基线，但端到端训练通过联合优化特征学习与相关性学习进一步提升了性能。
• CCA组件数量具有显著影响：性能在约100个组件时达到峰值，且JointTrain-DCCA在所有组件数量下均持续优于其他模型。
• 类别级检索结果证实了所提方法的鲁棒性，当以歌词作为查询时，JointTrain-DCCA在100个组件下达到MRR1为0.375。