[论文解读] Learning to Generate Music with BachProp

Florian Colombo, Johanni Brea+1 more|arXiv (Cornell University)|Dec 17, 2018

Music and Audio Processing参考文献 21被引用 6

一句话总结

BachProp 是一种神经音乐生成模型，通过建模相对于前一音符的音高、持续时间和时移来学习在多种音乐风格中创作音乐。它在捕捉长程音乐依赖关系以及生成风格一致且新颖的乐曲方面优于现有模型，该结论已在包括巴赫颂歌、民谣和古典四重奏在内的多种数据集上通过定量指标和定性听觉对比得到验证。

ABSTRACT

(Abstract to follow)

研究动机与目标

• 开发一种通用型音乐生成模型，可在不假设固定结构约束（如声部数量或节拍网格）的前提下适应多种音乐风格。
• 解决现有模型依赖刚性节拍离散化（如16分音符网格）的局限性，此类模型无法表达表现性节拍或复杂节奏。
• 提出一种最小化、无失真的音乐表示方法，以在训练深度神经网络时保持节奏完整性。
• 通过一组新的定量指标评估生成模型，这些指标评估结构相似性、新颖性以及与训练数据的分布保真度。
• 通过允许人类作曲家与AI协作，实现交互式且易用的音乐创作。

提出的方法

• 将音乐表示为由时移、持续时间和音高定义的音符序列，与标准MIDI或基于网格的表示相比，显著减少节奏失真。
• 训练深层循环神经网络，通过交叉熵损失预测给定历史条件下下一个音符的条件概率分布。
• 采用一种名为BachProp的新训练算法，通过改进的反向传播机制提升序列建模中的梯度流动与稳定性。
• 将模型应用于包括巴赫颂歌、民谣（诺丁汉）、约翰·桑基的MIDI录音以及海顿和莫扎特的弦乐四重奏在内的多样化数据集。
• 采用一组定量指标，包括音程分布、乐曲长度分布和自新颖性轮廓，将模型输出与真实音乐语料进行比较。
• 通过配套媒体网页上的大规模听觉对比进行定性评估，以衡量感知质量与风格一致性。

实验结果

研究问题

• RQ1 深度学习模型是否能在不假设固定结构约束（如声部数量或节拍网格）的前提下，跨多种音乐风格生成音乐上连贯且新颖的乐曲？
• RQ2 与现有模型相比，BachProp在多大程度上保留了训练数据的关键统计特征（如音程分布和乐曲长度分布）？
• RQ3 BachProp生成的音乐在多大程度上兼具新颖性与结构多样性？该程度通过自新颖性轮廓和与真实语料的分布相似性进行衡量。
• RQ4 在复杂度与同质性各异的数据集（如巴赫颂歌与异质性弦乐四重奏）上，模型性能如何变化？
• RQ5 所提出的评估指标是否能有效区分仅重组模式的模型与真正推断音乐长程依赖关系的模型？

主要发现

• 在巴赫颂歌数据集上，BachProp 的负对数似然（NLL）达到 0.419，表明其对序列中下一个音符的预测准确度极高。
• 在更复杂的约翰·桑基和弦乐四重奏数据集上，BachProp 的 NLL 分别为 1.002 和 0.936，表明其在同质性语料之外也具备强大的泛化能力。
• BachProp 的自新颖性轮廓在所有模式尺寸下均与原始语料高度匹配，表明其生成音乐具有高度多样性且冗余度低。
• 在捕捉音程分布方面，BachProp 表现优于其他模型，仅 DeepBach 显示出显著偏差（minor thirds 过多），而 BachProp、PolyDAC、MidiBP 和 PolyRNN 均与训练数据高度一致。
• BachProp 生成的乐曲长度分布与原始语料更为相似，优于除 MidiBP 外的所有其他模型，表明其对长程依赖关系的建模更佳。
• 在配套媒体网页上进行的大规模听觉对比确认，BachProp 生成的乐曲在所有测试数据集上均被感知为独特、风格一致且音乐上悦耳。