[论文解读] Improving Polyphonic Music Models with Feature-Rich Encoding

Omar Peracha|arXiv (Cornell University)|Nov 26, 2019

Music and Audio Processing参考文献 21被引用 6

一句话总结

本文提出了一种特征丰富的编码方法，通过在模型中引入或训练其预测额外音乐特征（如和弦）来提升整体音符序列的多声部音乐生成性能。采用基于GRU的模型TonicNet，该模型首先预测和弦，再逐个生成各声部音符，在JSB Chorales数据集上实现了最先进性能，通过引入更丰富的序列表征显著降低了验证损失。

ABSTRACT

This paper explores sequential modelling of polyphonic music with deep neural networks. While recent breakthroughs have focussed on network architecture, we demonstrate that the representation of the sequence can make an equally significant contribution to the performance of the model as measured by validation set loss. By extracting salient features inherent to the training dataset, the model can either be conditioned on these features or trained to predict said features as extra components of the sequences being modelled. We show that training a neural network to predict a seemingly more complex sequence, with extra features included in the series being modelled, can improve overall model performance significantly. We first introduce TonicNet, a GRU-based model trained to initially predict the chord at a given time-step before then predicting the notes of each voice at that time-step, in contrast with the typical approach of predicting only the notes. We then evaluate TonicNet on the canonical JSB Chorales dataset and obtain state-of-the-art results.

研究动机与目标

• 探究除音符序列外，更丰富的序列表征是否能提升多声部音乐生成性能。
• 解决标准模型仅预测音符序列而未建模结构化音乐特征的局限性。
• 开发一种能够基于或预测显著音乐特征（如和弦）的模型，以增强序列建模能力。
• 证明通过建模更复杂的序列并引入额外特征，可实现整体性能的提升。
• 在标准的JSB Chorales数据集上，通过特征丰富的编码方法实现最先进结果。

提出的方法

• 所提出的模型TonicNet采用基于GRU的架构，首先在每个时间步预测和弦，随后生成各声部的音符。
• 模型被训练为同时预测和弦与音符序列，将完整序列视为多输出预测任务。
• 从训练数据集中提取显著特征（如和弦），并将其作为序列表征的一部分。
• 模型基于或训练为预测这些特征，作为序列的一部分，从而有效提升目标序列的复杂度。
• 训练目标包括最小化和弦预测头与音符预测头的损失总和。
• 该方法利用和弦中的结构信息，引导各声部的生成，从而提升时间一致性和整体连贯性。

实验结果

研究问题

• RQ1 在音符序列之外建模额外的音乐特征（如和弦）是否能提升多声部音乐生成模型的性能？
• RQ2 训练模型以预测更复杂的序列（包括和弦）是否能带来更好的整体生成质量与更低的验证损失？
• RQ3 基于数据集中提取的显著特征进行条件控制或训练，如何影响模型生成连贯多声部音乐的能力？
• RQ4 采用分层生成策略（先预测和弦，再预测音符）是否相比端到端仅预测音符的模型能提升性能？
• RQ5 在JSB Chorales数据集的音乐生成背景下，特征丰富的编码方法在多大程度上优于标准序列建模？

主要发现

• TonicNet在JSB Chorales数据集上实现了最先进性能，证明建模额外特征可显著提升生成质量。
• 将和弦预测作为序列建模任务的一部分，与标准模型相比，显著降低了验证集损失。
• 同时训练模型预测和弦与音符，可生成更具连贯性与和声准确性的多声部序列。
• 模型的分层生成策略（先预测和弦，再生成音符）提升了生成音乐的时间与和声一致性。
• 性能提升归因于对音乐结构更丰富的表征，表明特征丰富的编码与架构创新具有同等影响力。
• 结果证实，通过引入额外特征建模更复杂的序列，可增强音乐生成任务中的泛化能力与建模精度。