[论文解读] Downbeat Tracking with Tempo-Invariant Convolutional Neural Networks

Bruno Di Giorgi, Matthias Mauch+1 more|arXiv (Cornell University)|Oct 11, 2020

Music and Audio Processing参考文献 30被引用 4

一句话总结

本文提出一种时序不变卷积神经网络（TI-CNN），通过将卷积核分解为尺度不变模式与预计算的缩放张量，实现对节奏模式的时序无关学习。该方法在合成测试集上对未见过的节拍实现近乎完美的泛化性能（F1 = 0.89），显著优于标准CNN在节拍变化下性能下降至F1 = 0.54的表现。

ABSTRACT

The human ability to track musical downbeats is robust to changes in tempo, and it extends to tempi never previously encountered. We propose a deterministic time-warping operation that enables this skill in a convolutional neural network (CNN) by allowing the network to learn rhythmic patterns independently of tempo. Unlike conventional deep learning approaches, which learn rhythmic patterns at the tempi present in the training dataset, the patterns learned in our model are tempo-invariant, leading to better tempo generalisation and more efficient usage of the network capacity. We test the generalisation property on a synthetic dataset created by rendering the Groove MIDI Dataset using FluidSynth, split into a training set containing the original performances and a test set containing tempo-scaled versions rendered with different SoundFonts (test-time augmentation). The proposed model generalises nearly perfectly to unseen tempi (F-measure of 0.89 on both training and test sets), whereas a comparable conventional CNN achieves similar accuracy only for the training set (0.89) and drops to 0.54 on the test set. The generalisation advantage of the proposed model extends to real music, as shown by results on the GTZAN and Ballroom datasets.

研究动机与目标

• 解决传统CNN在节拍检测中因学习特定节拍的节奏模式而产生的节拍偏差问题。
• 通过显式解耦节拍与节奏模式学习，使深度神经网络能够泛化至未见过的节拍。
• 通过共享表示减少不同节拍下冗余参数学习，提升模型效率。
• 证明时序不变学习可提升在具有多样化节拍的真实音乐数据集上的性能。
• 提供一种可扩展、可泛化的节拍检测解决方案，避免依赖节拍估计或数据增强。

提出的方法

• 引入一种尺度不变卷积层，将卷积核分解为固定缩放张量与可学习的尺度不变模式向量。
• 通过预计算的缩放张量与可学习模式向量的点积生成卷积核响应，使网络能够跨多个节拍检测模式。
• 在CNN架构中应用该尺度不变卷积层进行节拍检测，随后使用隐马尔可夫模型（HMM）进行序列解码。
• 使用联合优化每个时间帧的节拍与节拍率概率估计的损失函数进行网络训练。
• 通过确定性的时序扭曲操作在训练过程中模拟节拍变化，使模型学习到时序不变表示。
• 在测试阶段应用数据增强，通过不同节拍和不同SoundFont渲染MIDI数据，以评估泛化性能。

实验结果

研究问题

• RQ1 深度学习模型能否在无显式节拍监督的情况下，学习到可泛化至未见节拍的节奏模式？
• RQ2 将节拍与节奏模式解耦是否能提升在节拍缩放测试数据上的泛化性能，相比标准CNN？
• RQ3 所提出方法在保持或提升未见节拍上准确率的同时，能在多大程度上减少模型参数量？
• RQ4 在具有多样化节拍的真实音乐数据集上，时序不变模型与标准CNN的性能相比如何？
• RQ5 所提出架构能否作为正则化器，通过将网络容量分配给学习不变特征，从而提升泛化性能？

主要发现

• 所提出的时序不变CNN在训练集和包含未见节拍的测试集上均取得F1 = 0.89的得分，表明实现近乎完美的泛化。
• 相比之下，标准CNN在训练数据上F1 = 0.89，但在节拍缩放的测试数据上下降至F1 = 0.54，表明存在显著的节拍偏差。
• 即使使用数据增强，标准CNN仍保持节拍依赖的性能曲线，而TI-CNN在节拍全范围内表现出一致的准确率。
• 在真实音乐数据集（GTZAN与Ballroom）上，TI-CNN在训练集上表现稍差（因正则化），但在验证集与测试集上表现显著更优（p < 0.001）。
• TI-CNN仅使用80k参数，少于标准CNN的170k参数，同时实现更优的泛化性能，表明其对模型容量的利用更高效。
• 该方法有效解耦了节拍与节奏模式，使学习到的表示可在不重新训练的情况下跨节拍迁移。