[论文解读] Proceedings of the 20th Sound and Music Computing Conference

Roberto Bresin, Kjetil Falkenberg Hansen|arXiv (Cornell University)|Jun 14, 2023

Diverse Musicological Studies被引用 1

一句话总结

本文提出 CREPE Notes，一种轻量级后处理方法，可将 CREPE 的单音音高轨迹分割为离散音乐音符，准确率处于当前最先进水平。通过将 CREPE 的置信度分数与音高梯度特征结合，生成归一化、反向加权的置信度梯度信号，使低阈值下的鲁棒音符边界检测成为可能，在 Filosax 数据集上达到 82.31% 的 F1 值，且参数量相比深度学习方法减少 97%。

ABSTRACT

Proceedings of the 20th Sound and Music Computing Conference. June 15-17, 2023. Stockholm, Sweden. DOI 10.5281/zenodo.8136568 ISBN 978-91-527-7372-7 Conference website: smcnetwork.org/smc2023/ Video recordings of the conference concerts and keynotes: www.youtube.com/@navetresearch

研究动机与目标

• 解决将连续音高轨迹分割为单音音乐记谱中离散音符的挑战。
• 改进现有依赖起音检测或人声特性的音符分割方法，这些方法在器乐音乐中效果较差。
• 开发一种既准确又计算高效的音符分割方法，避免使用大型复杂深度学习模型。
• 以 CREPE 的高精度基频跟踪与置信度输出为基础，构建鲁棒且可泛化的音符分割方法。
• 证明简单算法后处理在单音记谱任务中可超越更复杂的深度学习模型。

提出的方法

• 该方法处理 CREPE 的帧级基频估计与置信度分数，利用反向置信度与归一化绝对音高梯度组合信号检测音符边界。
• 以半音单位（对数频率）计算音高梯度，以反映音高的感知非线性特性。
• 通过将反向置信度（使谷底变为峰值）与归一化绝对梯度相乘，形成组合信号，增强音符转换处的峰值检测。
• 应用低阈值（0.002）检测组合信号中的峰值，对应候选音符边界。
• 通过比较相邻段落的中位数音高进行段落优化：若差异超过半音，则确认边界；否则合并段落。
• 额外处理包括幅度阈值处理（默认 15/127）与最小持续时间过滤（30ms），以去除静音或虚假音符，随后进行幅度裁剪，使起音/止音与感知起音对齐。

实验结果

研究问题

• RQ1 简单的非深度学习后处理方法能否在器乐音乐的单音音符分割任务中超越现有最先进模型？
• RQ2 结合音高梯度与置信度特征在提升边界检测鲁棒性方面，相较于单独使用任一特征，效果如何？
• RQ3 当以 CREPE 作为主干网络时，模型大小对音符分割性能的影响程度如何？
• RQ4 轻量级方法能否在将参数量减少 97% 的同时保持高准确率，相比 MT3 等大型模型？
• RQ5 该方法在不同乐器与演奏风格下是否具备泛化能力，特别是在快速或连奏段落中？

主要发现

• 在 Filosax 数据集上，CREPE Notes 达到 82.31% 的 F1 值，优于 PYIN（82.31%）、Basic Pitch（75.54%）与 MT3（42.97%）。
• 在 ITM Flute 99 数据集上，该方法达到 66.35% 的 F1 值，超过 PYIN（46.44%）、Basic Pitch（59.58%）与 MT3（25.47%）。
• 与使用 7700 万参数的 MT3 相比，该方法实现 97% 的参数量减少，同时保持更优性能。
• 最小的 CREPE 模型（0.5M 参数）性能几乎与完整模型（22M 参数）相当，表明由于中位数音高平均化，对基频跟踪误差具有强鲁棒性。
• 在快速或连奏段落中，该方法保持高准确率，而基于起音的方法常在此类情境下失效，证明其在复杂音乐情境中的有效性。
• 幅度阈值处理与裁剪显著减少了静音或低幅度段落引起的误报，提升了整体分割质量。