[论文解读] DLR : Toward a deep learned rhythmic representation for music content analysis

Yeonwoo Jeong, Keunwoo Choi+1 more|arXiv (Cornell University)|Dec 14, 2017

Music and Audio Processing参考文献 20被引用 6

一句话总结

本文提出 DLR（Deep Learned Rhythmic representation，深度学习节律表征），一种从原始音频中端到端学习的紧凑表征，利用多膨胀率的一维空洞卷积捕捉节律模式。在与节律和节拍相关的辅助源任务上进行训练后，DLR 在音乐标签分类任务中的表现与梅尔频谱图相当，显著优于时域包络图（tempogram），证明了其在音乐内容分析中捕捉节律内容的高效性与有效性。

ABSTRACT

In the use of deep neural networks, it is crucial to provide appropriate input representations for the network to learn from. In this paper, we propose an approach to learn a representation that focus on rhythmic representation which is named as DLR (Deep Learning Rhythmic representation). The proposed approach aims to learn DLR from the raw audio signal and use it for other music informatics tasks. A 1-dimensional convolutional network is utilised in the learning of DLR. In the experiment, we present the results from the source task and the target task as well as visualisations of DLRs. The results reveals that DLR provides compact rhythmic information which can be used on multi-tagging task.

研究动机与目标

• 开发一种紧凑的、数据驱动的节律表征，以比手工设计的特征更高效地捕捉音乐中的时间模式。
• 解决在音乐内容分析的深度学习中表征效率与信息丰富度之间的权衡。
• 直接从原始音频中学习可迁移的节律表征，避免依赖二维时频表示。
• 在下游音乐标签分类任务中评估所学表征的有效性。
• 探究 DLR 是否能在多任务学习中与现有表征（如梅尔频谱图）互补。

提出的方法

• 在原始音频上训练一个一维空洞卷积网络，使用多个膨胀率（例如 1、2、4）以捕捉不同时间尺度的节律模式。
• 将并行空洞卷积的特征图拼接，并沿时间轴应用平均池化，生成紧凑的 DLR 表征。
• 将 DLR 用作下游任务（如音乐标签分类）的可迁移输入表征。
• 在梅尔频谱图上训练一个五层二维卷积网络用于目标音乐标签分类任务，将 DLR 作为替代输入。
• 通过专注于节律和节拍的代理源任务优化 DLR，实现节律特征的端到端学习。
• 在多输入设置中将 DLR 与梅尔频谱图结合，评估其信息互补性。

实验结果

研究问题

• RQ1 深度神经网络能否直接从原始音频中学习到紧凑且有效的节律表征？
• RQ2 在音乐标签分类任务中，DLR 与传统节律表征（如时域包络图）相比表现如何？
• RQ3 DLR 在下游音乐内容分析任务中（特别是多标签分类）是否具有良好的迁移能力？
• RQ4 在多模态输入设置中，DLR 与梅尔频谱图结合时是否具有互补性？
• RQ5 一维卷积网络中不同膨胀率如何分别有助于捕捉短时和长时节律模式？

主要发现

• 在音乐标签分类任务中，DLR 的 AUC 分数与梅尔频谱图相差仅 0.0161–0.0196，尽管其尺寸紧凑，仍表现出强劲性能。
• 尽管 DLR 尺寸仅为时域包络图的一半，但其 AUC 提升达 0.0873–0.0908，显著优于时域包络图。
• 当与梅尔频谱图结合时，DLR 在 AUC 上带来 0.0005–0.0016 的微小但可测量的性能增益，表明其具有有限但可观的互补信息。
• 可视化结果表明，低膨胀率的 DLR 在不同流派中学习到相似的局部模式，而高膨胀率的 DLR 展现出多样的长时节律结构，有助于流派区分。
• 使用 DLR 作为输入的网络性能几乎与使用梅尔频谱图的网络相当，证实了 DLR 作为独立输入表征的有效性。
• 结果表明，DLR 高效捕捉了节律内容且无冗余，支持其作为音乐信息检索中紧凑且可迁移表征的角色。