[论文解读] HPPNet: Modeling the Harmonic Structure and Pitch Invariance in Piano Transcription

Weixing Wei, Peilin Li+2 more|arXiv (Cornell University)|Aug 30, 2022

Music and Audio Processing被引用 4

一句话总结

HPPNet 提出了一种轻量级钢琴转录模型，通过谐波结构和音高不变性先验，利用谐波膨胀卷积（HD-Conv）和频率分组LSTM（FG-LSTM），在 MAESTRO 数据集上实现了最先进性能（帧F1为93.15%，音符F1为97.18%），参数量仅为120万，显著少于以往的最先进模型。

ABSTRACT

While neural network models are making significant progress in piano transcription, they are becoming more resource-consuming due to requiring larger model size and more computing power. In this paper, we attempt to apply more prior about piano to reduce model size and improve the transcription performance. The sound of a piano note contains various overtones, and the pitch of a key does not change over time. To make full use of such latent information, we propose HPPNet that using the Harmonic Dilated Convolution to capture the harmonic structures and the Frequency Grouped Recurrent Neural Network to model the pitch-invariance over time. Experimental results on the MAESTRO dataset show that our piano transcription system achieves state-of-the-art performance both in frame and note scores (frame F1 93.15%, note F1 97.18%). Moreover, the model size is much smaller than the previous state-of-the-art deep learning models.

研究动机与目标

• 通过引入钢琴声学中的领域特定先验，降低钢琴转录模型的复杂度。
• 通过建模谐波结构与音高不变性，提升性能与效率。
• 开发一种紧凑模型，在显著减少参数量的同时保持高精度，相较于现有深度学习方法具有显著优势。

提出的方法

• 使用常数Q变换（CQT）作为输入，以保留适合谐波分析的对数频率间距。
• 采用与对数频率域上谐波间隔匹配的膨胀率的谐波膨胀卷积（HD-Conv），以捕捉谐波系列。
• 应用频率分组LSTM（FG-LSTM），对每个频率带独立处理，以建模时间上的音高不变性。
• 在FG-LSTM中跨频率组共享权重，以减少参数量，同时保持时间建模能力。
• 将HD-Conv与FG-LSTM整合到端到端神经网络架构中，实现帧与音符的联合预测。
• 使用Q=24个音高每八度的CQT，以确保在基频上保持一致的谐波间距。

实验结果

研究问题

• RQ1 通过使用与谐波间距匹配的膨胀卷积建模谐波结构，能否提升钢琴转录性能？
• RQ2 通过频率分组的RNN强制实现时间上的音高不变性，是否能提升模型准确率与效率？
• RQ3 参数量显著更少的模型能否在钢琴转录任务中超越更大的最先进模型？
• RQ4 所提出的架构在较小训练集和跨数据集评估中的泛化能力如何？
• RQ5 HD-Conv与FG-LSTM对模型性能的独立贡献程度如何？

主要发现

• HPPNet 在 MAESTRO v3 验证集上达到93.15%的帧F1与97.18%的音符F1，创下新SOTA纪录。
• 该模型仅使用120万参数，远低于基于Transformer的SOTA模型（5400万参数）。
• 在MAPS数据集上，HPPNet-sp达到87.56%的音符F1，优于Onsets & Frames（83.04%）甚至其增强版本（86.44%）。
• 消融实验表明，若移除FG-LSTM或用固定膨胀卷积替代HD-Conv，帧F1将下降约3个百分点，音符F1下降约1个百分点。
• 该模型在小规模训练集上仍保持强性能，仅使用MAESTRO训练数据的10%时，帧F1达88.31%，音符F1达93.52%。
• 与基线模型相比，该模型收敛更快且更稳定，尤其在移除RNN层或用线性层替代时表现更优。