[论文解读] BeatNet: CRNN and Particle Filtering for Online Joint Beat Downbeat and Meter Tracking

Mojtaba Heydari, Frank Cwitkowitz+1 more|arXiv (Cornell University)|Aug 8, 2021

Music and Audio Processing被引用 4

一句话总结

BeatNet 提出了一种在线、因果的联合节拍、强拍和拍号追踪系统，采用 CRNN 进行帧级激活估计，通过两阶段粒子滤波实现时间推理。它在保持因果推理的前提下，实现了最先进的在线性能，其新颖的信息门机制通过跳过不必要的重采样步骤，显著降低了粒子滤波的计算量。

ABSTRACT

The online estimation of rhythmic information, such as beat positions, downbeat positions, and meter, is critical for many real-time music applications. Musical rhythm comprises complex hierarchical relationships across time, rendering its analysis intrinsically challenging and at times subjective. Furthermore, systems which attempt to estimate rhythmic information in real-time must be causal and must produce estimates quickly and efficiently. In this work, we introduce an online system for joint beat, downbeat, and meter tracking, which utilizes causal convolutional and recurrent layers, followed by a pair of sequential Monte Carlo particle filters applied during inference. The proposed system does not need to be primed with a time signature in order to perform downbeat tracking, and is instead able to estimate meter and adjust the predictions over time. Additionally, we propose an information gate strategy to significantly decrease the computational cost of particle filtering during the inference step, making the system much faster than previous sampling-based methods. Experiments on the GTZAN dataset, which is unseen during training, show that the system outperforms various online beat and downbeat tracking systems and achieves comparable performance to a baseline offline joint method.

研究动机与目标

• 开发一种无需预先输入节拍号的实时在线系统，用于联合节拍、强拍和拍号追踪。
• 解决在线节奏结构估计中粒子滤波计算效率低下的问题。
• 在保持因果推理的前提下，提升在线节拍和强拍追踪的性能。
• 实现在推理过程中无需预设的拍号估计与动态调整。

提出的方法

• 一个因果卷积-循环神经网络（CRNN）处理音频帧，生成节拍和强拍激活分数。
• 使用两个连续的蒙特卡洛粒子滤波器：一个用于节拍追踪，一个用于强拍追踪，两者均随时间估计节拍速度和节奏结构。
• 信息门机制根据预测置信度选择性地跳过粒子滤波中的重采样步骤，从而降低计算成本。
• 系统仅使用过去和当前的音频特征，在线联合估计节拍位置、强拍和节拍号（拍号）。
• 粒子滤波器使用多样化的假设进行初始化，并通过音频观测和转移模型迭代更新。
• 模型在音频特征上端到端进行训练，并在未见数据上进行评估，推理以因果、流式方式执行。

实验结果

研究问题

• RQ1 是否可以构建一个完全在线的系统，在推理时无需已知节拍号，即可联合估计节拍、强拍和拍号？
• RQ2 如何优化粒子滤波以实现实时节奏追踪，从而降低计算成本？
• RQ3 基于 CRNN 的激活估计器是否在在线节拍和强拍追踪中优于先前模型？
• RQ4 信息门机制是否能显著减少粒子滤波的推理时间，而不会降低追踪精度？

主要发现

• BeatNet 在 GTZAN 数据集上的所有在线节拍和强拍追踪系统中表现最优，节拍追踪 F1 达到 80.64%，强拍追踪 F1 达到 54.07%。
• 尽管是因果系统且无需输入节拍号，其性能仍与离线基线（Böck [20]）相当。
• 信息门将粒子滤波推理时间最多减少 75%，与先前基于采样的方法相比，30 秒片段的处理时间从 21.30 秒降至 8.87 秒。
• 模型在推理过程中动态估计并调整拍号，无需使用节拍号进行预设。
• BeatNet 在多样化的音乐风格下表现稳健，这在未见的 GTZAN 数据集上得到验证。
• 联合估计框架表明，从节拍到强拍追踪的级联误差传播可被有效管理，与离线方法相比仅造成微小性能损失。