[论文解读] High-resolution Piano Transcription with Pedals by Regressing Onset and Offset Times

Qiuqiang Kong, Bochen Li+3 more|arXiv (Cornell University)|Oct 5, 2020

Music and Audio Processing参考文献 44被引用 14

一句话总结

本论文提出了一种高分辨率钢琴记谱系统，通过深度学习模型回归音符和 sustain 踩弦踏板的精确起始与结束时间，实现任意时间分辨率。在推理阶段，采用解析算法计算精确时间，使 MAESTRO 数据集上的音符起始时间 F1 达到 96.72% 的最先进水平，并首次建立了针对踩弦踏板记谱的基准，F1 达到 91.86%。

ABSTRACT

Automatic music transcription (AMT) is the task of transcribing audio recordings into symbolic representations. Recently, neural network-based methods have been applied to AMT, and have achieved state-of-the-art results. However, many previous systems only detect the onset and offset of notes frame-wise, so the transcription resolution is limited to the frame hop size. There is a lack of research on using different strategies to encode onset and offset targets for training. In addition, previous AMT systems are sensitive to the misaligned onset and offset labels of audio recordings. Furthermore, there are limited researches on sustain pedal transcription on large-scale datasets. In this article, we propose a high-resolution AMT system trained by regressing precise onset and offset times of piano notes. At inference, we propose an algorithm to analytically calculate the precise onset and offset times of piano notes and pedal events. We show that our AMT system is robust to the misaligned onset and offset labels compared to previous systems. Our proposed system achieves an onset F1 of 96.72% on the MAESTRO dataset, outperforming previous onsets and frames system of 94.80%. Our system achieves a pedal onset F1 score of 91.86\%, which is the first benchmark result on the MAESTRO dataset. We have released the source code and checkpoints of our work at https://github.com/bytedance/piano_transcription.

研究动机与目标

• 解决以往基于帧的起始/结束时间检测方法在时间分辨率上的局限性，这些方法受限于帧移大小（例如 32 ms）。
• 提升模型对训练数据中起始与结束时间标签错位的鲁棒性，此类错位会降低现有系统性能。
• 通过建模精确的起始与结束时间而非二值化的帧级预测，实现高分辨率记谱。
• 在 MAESTRO 数据集上首次提供对踩弦踏板记谱的全面评估，建立基准。
• 开发一种解析推理算法，以任意分辨率计算精确的起始与结束时间，超越帧级精度。

提出的方法

• 训练深度神经网络，回归每个音频帧中心与最近的起始或结束时间之间的时间差。
• 使用回归目标而非二值标签，以保留音符和踩弦踏板的精细时间信息。
• 在推理阶段应用解析算法，通过最小化时间差上的可微损失函数，计算精确的起始与结束时间。
• 采用基于 CNN 的架构并引入残差连接，端到端训练 MAESTRO 数据集上的音符与踏板记谱任务。
• 提出一种新型评估协议，设置可变容忍度（起始时间 2–100 ms，结束时间 10–500 ms），以评估分辨率与鲁棒性。
• 为踩弦踏板预测引入独立分支，采用帧级回归检测踏板起始与结束事件。

实验结果

研究问题

• RQ1 基于回归的起始与结束时间建模是否能实现比基于帧分类更高的记谱分辨率？
• RQ2 与固定容忍度基线相比，所提系统在不同起始与结束时间评估容忍度下的表现如何？
• RQ3 该模型在训练数据中存在标签错位的情况下，其鲁棒性如何？
• RQ4 基于回归的方法是否能在音符与踩弦踏板记谱任务上均达到最先进性能？
• RQ5 是否可行从回归输出中解析计算出精确的起始与结束时间，从而实现任意时间分辨率？

主要发现

• 所提系统在 MAESTRO 数据集上的起始时间 F1 得分为 96.72%，在所有测试容忍度下均优于先前的 onsets and frames 系统（94.80%）。
• 在 100 ms 容忍度下，系统音符 F1 得分为 96.79%，表明在高分辨率评估下表现更优。
• 在 50 ms 容忍度下，系统踩弦踏板起始时间 F1 得分为 91.86%，这是 MAESTRO 数据集上首次建立的踩弦踏板记谱基准结果。
• 与重新实现的 onsets and frames 基线相比，本系统在相同评估协议下，踩弦踏板记谱 F1 达到 91.86% vs. 91.57%，表现更优。
• 误差分析显示，误报主要源于八度错误和持续时间极短的音符（<15 ms），而漏报则多影响高音或低音八度。
• 模型在调音不准的钢琴或低质量录音上性能下降，表明其对音频质量和调音准确性较为敏感。