[论文解读] Coupled Recurrent Models for Polyphonic Music Composition

John Thickstun, Zaïd Harchaoui+2 more|arXiv (Cornell University)|Nov 20, 2018

Music and Audio Processing参考文献 34被引用 6

一句话总结

本文提出了一种耦合循环神经网络，将复音音乐建模为相互依赖的声部序列，利用声部特定隐藏状态与全局隐藏状态来捕捉音高不变性与时间结构。该方法在巴赫经文歌数据集上实现了最先进（SOTA）的交叉熵得分，最小损失为12.87，表明其在生成音乐中对局部音乐结构与感知合理性具有强大建模能力。

ABSTRACT

This paper introduces a novel recurrent model for music composition that is tailored to the structure of polyphonic music. We propose an efficient new conditional probabilistic factorization of musical scores, viewing a score as a collection of concurrent, coupled sequences: i.e. voices. To model the conditional distributions, we borrow ideas from both convolutional and recurrent neural models; we argue that these ideas are natural for capturing music's pitch invariances, temporal structure, and polyphony. We train models for single-voice and multi-voice composition on 2,300 scores from the KernScores dataset.

研究动机与目标

• 开发一种能够捕捉复音音乐结构复杂性的生成模型，特别是同时进行的声部之间的相互作用。
• 通过显式建模声部级依赖关系，利用耦合循环架构改进现有自回归模型。
• 通过定量交叉熵与定性人类感知研究相结合的方式评估模型质量。
• 探究结构假设（如声部分解与分层建模）对生成性能的影响。

提出的方法

• 该模型将乐谱分解为并行的声部序列，将每个声部表示为随时间变化的音高触发与音高持续事件的二值矩阵。
• 采用分层循环架构，每个声部保持其自身的隐藏状态，而全局隐藏状态在每个时间步聚合各声部的信息。
• 模型使用条件概率分解，将每个声部视为基于其自身历史与全局上下文的序列，从而实现对复音音乐的联合建模。
• 在声部特定组件之间应用参数共享，以提高训练效率并强化结构不变性。
• 模型在KernScores数据集中的2,300首乐谱上使用最大似然估计进行训练，交叉熵作为主要评估指标。
• 通过祖先采样进行生成，将采样序列转换为音频片段以进行定性评估。

实验结果

研究问题

• RQ1 与栅格化或解耦方法相比，将音乐建模为耦合声部序列在生成性能方面有何提升？
• RQ2 整合声部特定隐藏状态与全局隐藏状态对建模准确率与样本质量有何影响？
• RQ3 共享的分层循环架构能否在保持计算效率的同时有效建模复音音乐？
• RQ4 不同历史长度（声部 vs. 全局）如何影响模型性能与泛化能力？
• RQ5 生成样本在多大程度上表现出与人类创作音乐相当的感知合理性？

主要发现

• 分层耦合循环模型在非钢琴测试集上实现了最低的交叉熵损失12.87，优于所有基线配置。
• 采用10步声部与全局历史的模型（实验6）达到12.87的损失，表明其对局部音乐结构有很强的建模能力。
• 解耦声部模型（实验8）表现显著更差，损失达18.63，证明了声部间建模的重要性。
• 人类评估显示，参与者平均仅能正确识别出50帧音频片段中6.8个为人工生成，表明生成音乐具有良好的感知合理性。
• 结果表明，低交叉熵与感知质量相关，支持其作为音乐创作中生成模型性能的代理指标。
• 消融研究证实，每一步时间点整合声部信息可提升性能，验证了耦合架构相较于解耦或独立建模的优越性。