[论文解读] Cover Song Identification With Timbral Shape Sequences.

Christopher J. Tralie, Paul Bendich|arXiv (Cornell University)|Jul 18, 2015

Music and Audio Processing参考文献 25被引用 7

一句话总结

本文提出了一种新颖的翻唱歌曲识别方法，通过从MFCC系数中提取的音色形状序列，将音频窗口视为时间有序的点云，并利用归一化自相似性矩阵比较其相对几何形状。在Covers 80数据集上，该方法实现了42/80次正确识别，表明尽管存在音高和音色变化，音色演化特征仍能有效识别翻唱歌曲，在特定案例（如《Blurred Lines》争议）中优于传统的基于音高色度的方法。

ABSTRACT

We introduce a novel low level feature for identifying cover songs which quantifies the relative changes in the smoothed frequency spectrum of a song. Our key insight is that a sliding window representation of a chunk of audio can be viewed as a time-ordered point cloud in high dimensions. For corresponding chunks of audio between different versions of the same song, these point clouds are approximately rotated, translated, and scaled copies of each other. If we treat MFCC embeddings as point clouds and cast the problem as a relative shape sequence, we are able to correctly identify 42/80 cover songs in the "Covers 80" dataset. By contrast, all other work to date on cover songs exclusively relies on matching note sequences from Chroma derived features.

研究动机与目标

• 解决当不同版本之间音高、节拍和音色显著变化时，翻唱歌曲识别的挑战。
• 探究传统上被舍弃的音色特征（相较于音高色度）是否可被有效用于版本匹配。
• 开发一种对音频特征点云在不同翻唱版本中发生旋转、平移和缩放变换保持不变的识别方法。
• 证明MFCC的相对形状演化即使在绝对音高和音色改变的情况下，仍能保留判别性信息。
• 通过利用低层次音频特征中的几何结构，为基于音高色度的方法提供一种替代方案。

提出的方法

• 音频被分割为时间窗口，每个窗口使用MFCC系数表示为高维空间中的一个点。
• 每个窗口的MFCC向量被视为一个点，形成表示音频频谱演化的有序点云。
• 为每个点云计算归一化的欧几里得自相似性矩阵（SSM），以捕捉相对形状关系。
• 通过比较对应块的SSM，计算候选歌曲之间的交叉相似性矩阵，实现对旋转、平移和缩放的不变匹配。
• 从二值化交叉相似性矩阵中推导出相似性评分，更高的对角线密度表示更强的形状对应性。
• 该方法使用最近邻排序，结合块大小（B）、重采样维度（d）和相似性阈值（κ）等参数评估性能。

实验结果

研究问题

• RQ1 在存在音高转调、节拍变化和乐器差异的情况下，是否可以利用音频片段之间的相对音色形状演化来识别翻唱歌曲？
• RQ2 对MFCC特征进行基于形状的分析，是否比传统的基于音高色度的方法更具鲁棒性？
• RQ3 MFCC点云的几何不变性（旋转、平移、缩放）在多大程度上能提升翻唱歌曲匹配的准确性？
• RQ4 在现实世界案例（如《Blurred Lines》争议）中，该方法表现如何，此时音高序列不同但音色结构可能相似？
• RQ5 音色形状特征是否能超越或补充现有的基于音高色度的方法，在识别音乐版本方面表现更优？

主要发现

• 该方法在Covers 80基准数据集上正确识别了80首翻唱歌曲中的42首，在κ=0.15、B=14、d=200时达到峰值性能42/80。
• 在《Blurred Lines》与《Got To Give It Up》的对比中，基于音色形状的评分将《Got To Give It Up》排在所有比较的99.9百分位数之内，为最高匹配。
• 音色形状方法的二值化交叉相似性矩阵显示出密集的对角线模式，表明存在强烈的形状对应性，而基于音高色度的矩阵则更稀疏。
• 在音高序列显著不同的情况下（如《Blurred Lines》争议），该方法优于传统的基于音高色度的方法。
• 测试了其他形状描述符（如曲率、Gromov-Hausdorff距离和地球移动者距离），但其性能较差且计算成本更高。
• 广义的补丁匹配算法将成对块比较减少至总数的约15%，表明该方法在大规模检索中具备可扩展部署的潜力。