[论文解读] Sampling Variations of Lead Sheets

Pierre Roy, Alexandre Papadopoulos+1 more|arXiv (Cornell University)|Mar 2, 2017

Music and Audio Processing参考文献 8被引用 7

一句话总结

本文提出一种基于信念传播的方法，从统计模型中采样旋律变体，利用Mongeau-Sankoff相似度度量确保生成的旋律序列在结构上连贯且与给定主题相似。该方法可实现对音乐上有意义变体的受控生成，可用于创作具有有意重复与对比的结构化伴奏谱。

ABSTRACT

Machine-learning techniques have been recently used with spectacular results to generate artefacts such as music or text. However, these techniques are still unable to capture and generate artefacts that are convincingly structured. In this paper we present an approach to generate structured musical sequences. We introduce a mechanism for sampling efficiently variations of musical sequences. Given a input sequence and a statistical model, this mechanism samples a set of sequences whose distance to the input sequence is approximately within specified bounds. This mechanism is implemented as an extension of belief propagation, and uses local fields to bias the generation. We show experimentally that sampled sequences are indeed closely correlated to the standard musical similarity measure defined by Mongeau and Sankoff. We then show how this mechanism can used to implement composition strategies that enforce arbitrary structure on a musical lead sheet generation problem.

研究动机与目标

• 为解决统计模型在捕捉长程音乐结构（尤其是重复与变体）方面的局限性。
• 开发一种机制，基于正式的相似度度量，生成与给定主题在感知上相似的旋律变体。
• 将变体采样整合到更广泛的框架中，用于生成具有明确形式（如AABA）的结构化伴奏谱。
• 实现对原始主题与生成变体之间相似度程度的控制，以支持创作意图。
• 证明该方法可生成在音乐上连贯且具有审美吸引力的序列，同时保持结构连贯性与方向性。

提出的方法

• 将信念传播适配于从马尔可夫模型中采样序列，利用局部场（local fields）将生成结果偏向于在指定相似度范围内的序列。
• 采用Mongeau-Sankoff旋律相似度度量作为约束，整合替换、插入、删除、分割与合并等编辑操作。
• 使用加权编辑代价：$ w_{\text{subst}}(a_i,b_j) = w_{\text{pitch}}(a_i,b_j) + k_1 w_{\text{len}}(a_i,b_j) $，其中 $ k_1 $ 控制音高与时值差异的相对重要性。
• 提出对Mongeau-Sankoff动态规划算法的近似，以在采样框架内实现相似度计算的可行性。
• 将在两声部伴奏谱模型中应用变体采样机制，将重复或转位的段落作为生成过程中的约束条件。
• 采用从左到右的生成方式，并结合向后约束处理重复或复制的乐句，确保结构段落间的一致性。

实验结果

研究问题

• RQ1 统计模型能否生成在Mongeau-Sankoff相似度度量下与给定主题在感知上相似的旋律变体？
• RQ2 在生成过程中，如何控制主题与其变体之间的相似度程度？
• RQ3 变体采样机制能否整合到更大的作曲框架中，以生成具有明确形式的结构化伴奏谱？
• RQ4 由该方法生成的序列是否在人类专家的评判下表现出音乐连贯性与结构意图？
• RQ5 该方法在多大程度上保留了原作品的结构特征，如重复、转位与变体模式？

主要发现

• 所提出的采样机制成功生成了在统计上接近Mongeau-Sankoff相似度度量的序列，证实其在捕捉旋律相似性方面的有效性。
• 通过参数 $ k_1 $ 可调节相似度偏置的强度，从而实现对变体与原始主题之间距离的细粒度控制。
• 由专家评审的生成伴奏谱（如基于《In a Sentimental Mood》）被认为悦耳且连贯，具有清晰的方向感。
• 该方法成功生成了与现实世界作曲实践相吻合的变体，如转位重复与节奏性变化。
• 将变体采样整合到结构化生成流程中，成功实现了特定风格（如披头士风格）的新作品创作，具备内部连贯性与形式结构。
• 与标准统计模型相比，该方法在生成具有长程结构的音乐方面表现更优，表现为无方向性、重复性或不连贯的输出缺失。