[论文解读] MELONS: generating melody with long-term structure using transformers and structure graph

Yi Zou, Pei Zou+4 more|arXiv (Cornell University)|Oct 11, 2021

Music and Audio Processing被引用 7

一句话总结

MELONS 是一种基于 Transformer 的旋律生成框架，采用八类小节级结构图来建模长期音乐连贯性。通过将结构生成与旋律生成解耦，该方法在无需标注结构数据的情况下，能够生成高质量、结构连贯的完整歌曲旋律，在主观评估中优于先前的方法。

ABSTRACT

The creation of long melody sequences requires effective expression of coherent musical structure. However, there is no clear representation of musical structure. Recent works on music generation have suggested various approaches to deal with the structural information of music, but generating a full-song melody with clear long-term structure remains a challenge. In this paper, we propose MELONS, a melody generation framework based on a graph representation of music structure which consists of eight types of bar-level relations. MELONS adopts a multi-step generation method with transformer-based networks by factoring melody generation into two sub-problems: structure generation and structure conditional melody generation. Experimental results show that MELONS can produce structured melodies with high quality and rich contents.

研究动机与目标

• 解决生成具有清晰音乐结构的长时长、连贯旋律的挑战。
• 开发一种全面的、数据驱动的音乐结构表示方法，超越简单的重复与序列。
• 通过结构化条件实现无需标注的灵活长度旋律生成。
• 通过在生成过程中整合分层结构关系，提升旋律质量。

提出的方法

• MELONS 使用包含八种小节级关系的图结构来建模音乐结构：重复、转调、音高进行、节奏序列、旋律进行、环绕进行、和谐终止与静音。
• 该框架采用两阶段生成流程：首先生成结构图，然后基于该图生成旋律。
• 结构生成与旋律生成均采用基于 Transformer 的神经网络，支持长距离依赖建模。
• 结构图从数据中学习，关系由音高、节奏与和声相似性度量定义。
• 该方法支持灵活的旋律长度，且训练无需并行标注数据。
• 评估结合了自动指标（关系准确率）与专业音乐人参与的主观听感测试。

实验结果

研究问题

• RQ1 基于数据的多关系结构图能否有效表示旋律中的长期音乐连贯性？
• RQ2 基于学习到的结构图进行旋律生成，是否能提升感知到的音乐质量与结构清晰度？
• RQ3 MELONS 在生成结构化、高质量旋律方面，相较于 PopMNet 与 CP-Transformer 等先前方法表现如何？
• RQ4 该模型在无需标注结构数据的情况下，能在多大程度上生成结构准确的旋律？

主要发现

• 在主观评估中，MELONS 在整体质量指标上的平均意见得分（MOS）达到 3.20，显著优于 CP-Transformer（2.13）与 PopMNet（2.17）。
• 该模型在生成具有节奏序列关系的小节时，准确率达到 92.88%，为所有关系类型中的最高值。
• 转调关系的生成最为困难，准确率为 77.33%，表明在音高转换建模方面仍有提升空间。
• 使用真实结构图的 MELONS（MELONS-R）在整体质量上得分为 3.22，与人类创作旋律的得分（4.39）差距极小，表明其结构预测质量极高。
• 与 PopMNet 仅使用基础的两种关系相比，使用完整的八重关系结构图显著提升了性能，证实了更丰富结构表示的价值。
• T 检验结果表明，MELONS 在所有评估指标上均显著优于所有基线方法（p < 1e-6），验证了其有效性。