[论文解读] An Information-theoretic Approach to Machine-oriented Music Summarization

Francisco Raposo, David Martins de Matos+1 more|arXiv (Cornell University)|Dec 7, 2016

Music and Audio Processing参考文献 46被引用 5

一句话总结

本文提出了一种新颖的信息论方法，用于面向机器的音乐摘要，通过最小化原始歌曲与摘要歌曲的高斯混合模型之间的Kullback-Leibler（KL）散度来减少信息损失。该方法——高斯采样器摘要器——在流派分类和情感回归任务中优于先前的最先进方法，且由于高不连续性和非连续结构，生成的摘要更不易侵犯版权。

ABSTRACT

Music summarization allows for higher efficiency in processing, storage, and sharing of datasets. Machine-oriented approaches, being agnostic to human consumption, optimize these aspects even further. Such summaries have already been successfully validated in some MIR tasks. We now generalize previous conclusions by evaluating the impact of generic summarization of music from a probabilistic perspective. We estimate Gaussian distributions for original and summarized songs and compute their relative entropy, in order to measure information loss incurred by summarization. Our results suggest that relative entropy is a good predictor of summarization performance in the context of tasks relying on a bag-of-features model. Based on this observation, we further propose a straightforward yet expressive summarizer, which minimizes relative entropy with respect to the original song, that objectively outperforms previous methods and is better suited to avoid potential copyright issues.

研究动机与目标

• 使用信息论方法以任务无关的方式评估面向机器的音乐摘要。
• 验证相对熵（KL散度）作为基于词袋特征任务中摘要性能预测指标的有效性。
• 开发一种简单而有效的摘要器，以最小化信息损失并降低版权风险。
• 证明通用摘要器在MIR任务中优于音乐特定基线方法。
• 强化并推广先前关于音乐流派和情感预测中摘要有效性研究的发现。

提出的方法

• 为原始音乐和摘要音乐估计单高斯模型（SGM），以表示其概率特征分布。
• 使用Kullback-Leibler（KL）散度作为原始SGM与摘要SGM之间信息损失的度量。
• 提出一种高斯采样器摘要器，通过最小化与原始歌曲的KL散度来选择帧。
• 通过直接从连续音频特征中采样，避免离散化和词表调优，降低超参数敏感性。
• 仅将分帧作为唯一超参数，简化实现并提高鲁棒性。
• 通过代理任务（音乐流派分类和情感回归）验证该方法，将KL散度与任务性能相关联。

实验结果

研究问题

• RQ1 相对熵（KL散度）能否作为基于词袋特征的MIR任务中摘要性能的可靠、通用预测指标？
• RQ2 是否最小化原始音乐与摘要音乐之间KL散度的摘要器优于现有最先进方法？
• RQ3 最小化信息损失在多大程度上能提升下游MIR任务（如流派分类和情感回归）的性能？
• RQ4 所提出的高斯采样器摘要器与通用及音乐特定基线方法相比，在性能和版权风险方面表现如何？
• RQ5 信息论评估指标能否揭示代理任务评估可能掩盖的摘要器性能差异？

主要发现

• 相对熵（KL散度）与代理任务性能显著相关：在流派分类和情感回归任务中，R2分别为-0.845和-0.907，MSE分别为0.852和0.908，准确率分别为-0.797和-0.719。
• 所提出的高斯采样器摘要器在所有评估中均优于所有基线方法，包括GRASSHOPPER、LexRank、LSA、MMR、Support Sets、AvS和固定分段方法。
• 该方法在音乐流派分类和情感回归任务中均达到最先进性能，验证了其有效性。
• 高斯采样器生成的摘要由于具有高不连续性和非连续结构，更不易侵犯版权，因此不适合人类聆听。
• 该方法揭示了摘要器之间细微的性能差异，这些差异在代理任务评估中因饱和效应而被掩盖。
• 高斯采样器避免了离散化和词表调优，相比先前方法，简化了实现并降低了超参数敏感性。