[论文解读] Explicitly Conditioned Melody Generation: A Case Study with Interdependent RNNs

Benjamin Genchel, Ashis Pati+1 more|arXiv (Cornell University)|Jul 10, 2019

Music and Audio Processing参考文献 19被引用 10

一句话总结

本文研究了在使用一对相互依赖的RNN模型对音高和时值序列进行建模时，显式音乐条件对单音旋律生成的影响。通过结合和弦、下一和弦、小节位置以及音高与时值之间的相互条件，研究发现和弦条件显著提升了音高准确性、节奏多样性与音乐性，尤其在咆勃爵士乐中，有效防止了调性漂移并增强了乐句表现力；而多种条件的协同组合产生了最具审美吸引力的结果。

ABSTRACT

Deep generative models for symbolic music are typically designed to model temporal dependencies in music so as to predict the next musical event given previous events. In many cases, such models are expected to learn abstract concepts such as harmony, meter, and rhythm from raw musical data without any additional information. In this study, we investigate the effects of explicitly conditioning deep generative models with musically relevant information. Specifically, we study the effects of four different conditioning inputs on the performance of a recurrent monophonic melody generation model. Several combinations of these conditioning inputs are used to train different model variants which are then evaluated using three objective evaluation paradigms across two genres of music. The results indicate musically relevant conditioning significantly improves learning and performance, and reveal how this information affects learning of musical features related to pitch and rhythm. An informal subjective evaluation suggests a corresponding improvement in the aesthetic quality of generations.

研究动机与目标

• 探究显式音乐条件如何影响深度生成模型在单音旋律生成中的学习与性能表现。
• 分离并比较四种条件输入（和弦、下一和弦、小节位置、相互条件）对音高与时值建模的影响。
• 评估条件输入是否能在不完全依赖原始数据模式的情况下，提升模型对和声、拍号与节奏等音乐特征的学习能力。
• 评估条件输入之间的协同效应及其对客观指标与主观审美质量的影响。
• 考察不同音乐体裁中条件输入的有效性差异，特别是苏格兰/爱尔兰民谣与咆勃爵士乐之间的对比。

提出的方法

• 训练一种双RNN架构，其中一个网络用于建模音高序列，另一个用于建模时值序列，两者共享输入嵌入。
• 通过组合四种输入对每个网络进行条件控制：当前和弦、下一和弦、小节位置，以及相互条件（音高网络受时值条件控制，反之亦然）。
• 使用独热编码表示音高、时值、和弦与小节位置，并通过可学习的嵌入层学习语义表征。
• 采用交叉熵损失在序列到序列任务中进行训练，基于先前上下文与条件信息预测下一个音符事件。
• 在两个数据集（苏格兰/爱尔兰民谣与咆勃爵士乐）上评估13种配置（包括无条件配置），每个数据集均包含标注和弦的旋律。
• 应用三种客观评估指标——音高准确性、时值准确性与和声一致性——并辅以非正式的主观评估对生成旋律进行评价。

实验结果

研究问题

• RQ1 使用当前和下一和弦和声进行显式条件控制，对单音旋律生成中音高与时值预测准确性有何影响？
• RQ2 小节位置与相互条件对节奏乐句与旋律多样性产生的单独与联合效应是什么？
• RQ3 条件输入如何影响模型维持调性与和声一致性的能力，特别是在咆勃爵士乐等复杂体裁中？
• RQ4 条件输入的协同组合在多大程度上提升了审美质量，超越单一条件效应？
• RQ5 条件输入在不同音乐体裁（如民谣与咆勃爵士乐）中的有效性有何差异？

主要发现

• 和弦条件显著提升了和声一致性与音高准确性，尤其在咆勃爵士乐中，未使用和弦条件的模型常出现调性漂移。
• 和弦条件模型生成了更具音乐表现力的音程（如三度、四度），并减少了无条件民谣生成中常见的连续使用全音程现象。
• 仅使用相互条件时，有时会引发重复的旋律模式（如反复出现的B4音符），但与和弦条件结合后，此类问题得到缓解。
• 小节位置条件在咆勃爵士乐生成中增强了节奏多样性与乐句表现力，但在民谣音乐中影响甚微，表明其效用具有体裁依赖性。
• 和弦、相互条件与小节位置三者结合（CIB）生成的旋律最具审美吸引力，表明存在显著的协同效应。
• 下一和弦条件有时导致模型过早预判和弦变化，尤其在咆勃爵士乐中引发调性不一致，表明其可靠性低于当前和弦条件。