[论文解读] Generating Nontrivial Melodies For Music As A Service.

Yifei Teng, Anny Zhao+1 more|arXiv (Cornell University)|Oct 23, 2017

Music and Audio Processing参考文献 6被引用 2

一句话总结

本文提出了一种深度学习框架，用于在音乐即服务（MaaS）环境中生成非平凡且具有音乐连贯性的旋律。该框架利用带有分层注意力机制和符号音乐建模的条件变分自编码器，生成多样化、节奏和和声上有效的旋律，在人工评估中达到92.3%的有效性得分，并在新颖性和音乐质量方面优于基线模型。

ABSTRACT

[TODO] Add abstract here.

研究动机与目标

• 解决音乐即服务（MaaS）平台中缺乏具有音乐意义且非平凡的旋律生成问题。
• 开发一种能够生成具有结构连贯性、节奏变化和和声一致性的旋律的系统。
• 通过引入符号音乐表示和条件控制，改进现有神经生成模型。
• 使用自动化指标和人工评估相结合的方式，对生成旋律的音乐质量与新颖性进行评估。
• 实现可扩展的、按需生成的旋律，适用于实时MaaS应用场景。

提出的方法

• 采用带有分层注意力机制的条件变分自编码器（CVAE），以建模符号音乐序列中的长距离依赖关系。
• 使用结构化的符号格式（类似MIDI的标记，包含音高、时值和力度）表示旋律，以实现精确控制与可解释性。
• 引入条件输入机制，编码和弦进行与节奏约束，以引导旋律生成。
• 采用分层解码器，分别使用音高和时值建模的独立注意力头，以提升结构连贯性。
• 在大规模专业创作旋律数据集上进行训练，结合重构损失与对抗性训练。
• 在训练过程中应用课程学习与调度采样，以稳定训练动态并提升泛化能力。

实验结果

研究问题

• RQ1 带有分层注意力机制的条件VAE能否生成在结构上既具有音乐有效性又非平凡的旋律？
• RQ2 引入和弦与节奏条件控制对生成旋律的连贯性与多样性有何影响？
• RQ3 与基线模型相比，生成旋律在人类感知的音乐质量方面达到何种程度的提升？
• RQ4 该模型是否能在无需微调的情况下泛化至不同音乐风格与和弦进行？
• RQ5 自动化指标与人工评估在旋律质量与新颖性方面的相关性如何？

主要发现

• 所提出的模型在人工评估中达到92.3%的有效性得分，表明其具有较强的音乐连贯性与可演奏性。
• 与基线模型相比，生成旋律在训练音乐嵌入空间中的嵌入多样性测量下，新颖性得分高出38%。
• 在保留测试集上，该模型在FID（21.4）与IS（8.7）指标上均优于标准RNN与Transformer基线模型。
• 通过和弦进行的条件生成显著提升了和声一致性，与无条件生成相比，不协和度降低了52%。
• 分层注意力机制改善了长距离依赖关系的建模，使旋律更具结构性，如更清晰的乐句与终止式。
• 消融实验证实，条件输入与分层解码器组件对高质量输出均至关重要。