[论文解读] MIDI-Sandwich: Multi-model Multi-task Hierarchical Conditional VAE-GAN networks for Symbolic Single-track Music Generation

Xia Liang, Junmin Wu+1 more|arXiv (Cornell University)|Jul 2, 2019

Music and Audio Processing参考文献 7被引用 6

一句话总结

该论文提出MIDI-Sandwich，一种用于符号化单音轨音乐生成的多模型、多任务分层条件VAE-GAN框架，整合了如曲式、主音和旋律运动等音乐知识。通过使用首尾音（FLN）约束和两级架构——局部CVAE用于小节级生成，全局VAE用于结构控制，该模型生成了长达17×8拍的连贯长篇旋律，显著提升了音乐结构和方向性，相较于先前模型在结构完整性和旋律一致性方面表现更优。

ABSTRACT

Most existing neural network models for music generation explore how to generate music bars, then directly splice the music bars into a song. However, these methods do not explore the relationship between the bars, and the connected song as a whole has no musical form structure and sense of musical direction. To address this issue, we propose a Multi-model Multi-task Hierarchical Conditional VAE-GAN (Variational Autoencoder-Generative adversarial networks) networks, named MIDI-Sandwich, which combines musical knowledge, such as musical form, tonic, and melodic motion. The MIDI-Sandwich has two submodels: Hierarchical Conditional Variational Autoencoder (HCVAE) and Hierarchical Conditional Generative Adversarial Network (HCGAN). The HCVAE uses hierarchical structure. The underlying layer of HCVAE uses Local Conditional Variational Autoencoder (L-CVAE) to generate a music bar which is pre-specified by the First and Last Notes (FLN). The upper layer of HCVAE uses Global Variational Autoencoder(G-VAE) to analyze the latent vector sequence generated by the L-CVAE encoder, to explore the musical relationship between the bars, and to produce the song pieced together by multiple music bars generated by the L-CVAE decoder, which makes the song both have musical structure and sense of direction. At the same time, the HCVAE shares a part of itself with the HCGAN to further improve the performance of the generated music. The MIDI-Sandwich is validated on the Nottingham dataset and is able to generate a single-track melody sequence (17x8 beats), which is superior to the length of most of the generated models (8 to 32 beats). Meanwhile, by referring to the experimental methods of many classical kinds of literature, the quality evaluation of the generated music is performed. The above experiments prove the validity of the model.

研究动机与目标

• 解决现有神经音乐生成模型在直接拼接短小节音乐时缺乏音乐曲式和方向性的问题。
• 通过使用首尾音（FLN）作为约束，减少对和弦进行及多音轨数据的依赖，实现单旋律生成。
• 将音乐知识（如主音、旋律运动和结构曲式）整合到深度生成模型中，以生成更连贯且具有音乐意义的输出。
• 设计一种多模型、多任务架构，实现局部（小节级）与全局（整首曲级）音乐生成的联合学习，通过共享组件提升效率与性能。
• 实现长达17×8拍的连贯单音轨旋律生成，保持调性稳定与结构连贯，且无需依赖和弦监督。

提出的方法

• 提出一种分层架构，包含两个主要子模型：分层条件VAE（HCVAE）和分层条件GAN（HCGAN），通过共享组件实现联合优化。
• 在底层使用局部条件VAE（L-CVAE）生成以首尾音（FLN）为条件的单个小节，确保调性与旋律的连贯性。
• 在顶层使用全局VAE（G-VAE）建模来自L-CVAE的潜在向量序列，捕捉全局音乐关系并引导整首曲子的结构流动。
• 将L-CVAE解码器以及编码器和CNN层的部分结构与HCGAN共享，通过对抗训练提升生成样本的质量。
• 先训练HCVAE以学习局部与全局结构，随后通过HCGAN进行微调，以提升生成音乐的真实感与感知质量。
• 使用FLN作为控制机制，而非和弦进行，使模型可在仅包含主旋律的极简单旋律数据集上进行训练，同时保持调性稳定与旋律运动的连贯性。

实验结果

研究问题

• RQ1 分层条件VAE-GAN架构能否生成具有音乐曲式与方向性的长篇连贯单音轨旋律，而非零散、割裂的小节？
• RQ2 首尾音（FLN）在多大程度上可作为有效约束，实现无需依赖和弦进行的音乐稳定与连贯旋律生成？
• RQ3 与标准VAE或RNN模型相比，全局（G-VAE）与局部（L-CVAE）建模的结合如何提升生成音乐的结构连贯性与旋律运动？
• RQ4 HCVAE与HCGAN之间共享组件是否能提升生成音乐质量，同时保持训练效率与模型可解释性？
• RQ5 与SOTA模型如Magenta-RNN和MIDI-Net相比，该模型在用户评估中于音乐结构、旋律、完整性与可唱性方面的表现如何？

主要发现

• MIDI-Sandwich模型成功生成长达17×8拍（136拍）的长篇单音轨旋律，显著长于大多数先前模型仅能生成8–32拍的限制。
• 模型在满足首尾音（FLN）约束方面达到94%的准确率，确保生成小节间具有强大的调性稳定性和旋律连贯性。
• 用户评估显示，该模型在结构完整性（3.66/5）与旋律运动（3.47/5）方面优于Magenta-RNN、MIDI-Net与VAE-GAN，整体平均得分为3.15/5。
• 潜在向量分析表明，相似的音乐结构（如重复、序列）在潜在空间中被编码为相似表示，差异小于千分之一，表明潜在层具备有效的结构建模能力。
• HCGAN微调步骤显著提升了感知质量，表现为旋律与完整性评分高于仅使用HCVAE的模型，证明对抗性优化的优越性。
• 通过仅使用主旋律音轨与FLN约束，该模型减少了对和弦数据或多音轨数据的依赖，增强了在多样化数据集与真实世界音乐生成任务中的适用性。