[论文解读] MIDI-Sandwich2: RNN-based Hierarchical Multi-modal Fusion Generation VAE networks for multi-track symbolic music generation

Xia Liang, Junmin Wu+1 more|arXiv (Cornell University)|Sep 8, 2019

Music and Audio Processing参考文献 20被引用 9

一句话总结

该论文提出MIDI-Sandwich2，一种基于RNN的分层VAE框架，用于多轨道符号音乐生成。该框架采用独立的二值化VAE（BVAE）进行轨道特定建模，并通过多模态融合生成VAE（MFG-VAE）实现跨轨道整合。通过将二值化重新定义为多标签分类任务，提升了训练稳定性和生成质量，生成的音乐质量接近当前最先进模型MuseGAN，且基于VAE的重建方法进一步提升了表现力与和声性。

ABSTRACT

Currently, almost all the multi-track music generation models use the Convolutional Neural Network (CNN) to build the generative model, while the Recurrent Neural Network (RNN) based models can not be applied in this task. In view of the above problem, this paper proposes a RNN-based Hierarchical Multi-modal Fusion Generation Variational Autoencoder (VAE) network, MIDI-Sandwich2, for multi-track symbolic music generation. Inspired by VQ-VAE2, MIDI-Sandwich2 expands the dimension of the original hierarchical model by using multiple independent Binary Variational Autoencoder (BVAE) models without sharing weights to process the information of each track. Then, with multi-modal fusion technology, the upper layer named Multi-modal Fusion Generation VAE (MFG-VAE) combines the latent space vectors generated by the respective tracks, and uses the decoder to perform the ascending dimension reconstruction to simulate the inverse operation of multi-modal fusion, multi-modal generation, so as to realize the RNN-based multi-track symbolic music generation. For the multi-track format pianoroll, we also improve the output binarization method of MuseGAN, which solves the problem that the refinement step of the original scheme is difficult to differentiate and the gradient is hard to descent, making the generated song more expressive. The model is validated on the Lakh Pianoroll Dataset (LPD) multi-track dataset. Compared to the MuseGAN, MIDI-Sandwich2 can not only generate harmonious multi-track music, the generation quality is also close to the state of the art level. At the same time, by using the VAE to restore songs, the semi-generated songs reproduced by the MIDI-Sandwich2 are more beautiful than the pure autogeneration music generated by MuseGAN. Both the code and the audition audio samples are open source on https://github.com/LiangHsia/MIDI-S2.

研究动机与目标

• 为解决当前多轨道符号音乐生成中缺乏有效的基于RNN的模型，而该领域目前主要由基于CNN的架构主导的问题。
• 克服现有基于GAN的多轨道模型（如BMuseGAN）中梯度消失和二值化不可微的问题。
• 通过共享的低维潜在空间，实现多条音乐轨道之间潜在表示的分层、多模态融合。
• 通过利用基于VAE的重建和半自动生成音乐调整，提升生成质量与表现力。
• 证明当结合分层VAE与多模态融合时，基于RNN的模型可在多轨道音乐生成中达到最先进性能。

提出的方法

• 模型为每条音乐轨道独立使用非共享的BVAE，基于RNN的VRAE架构学习轨道特定表示。
• 多模态融合生成VAE（MFG-VAE）编码器将各BVAE的潜在向量融合至共享的低维潜在空间，实现跨轨道建模。
• MFG-VAE解码器执行反向多模态融合，从融合后的潜在码重建并生成多轨道钢琴卷帘序列。
• 将二值化步骤重新定义为多标签分类问题，而非可微的硬阈值，从而改善训练过程中的梯度流动。
• 分层架构通过堆叠的VAE组件，实现对局部（轨道级）与全局（多轨道）音乐结构的联合建模。
• 模型在Lakh Pianoroll Dataset（LPD）上进行训练，评估了直接生成与基于VAE的重建两种方式。

实验结果

研究问题

• RQ1 当采用分层VAE与多模态融合结构时，基于RNN的模型能否有效生成多轨道符号音乐？
• RQ2 将二值化步骤重新定义为多标签分类任务，是否能提升多轨道音乐生成中的训练稳定性和生成质量？
• RQ3 基于RNN的模型在多轨道音乐生成中与基于CNN的最先进模型（如MuseGAN）相比表现如何？
• RQ4 基于VAE的重建在多大程度上能增强生成多轨道音乐的表现力与音乐连贯性？
• RQ5 为每条轨道独立使用BVAE，并结合共享的MFG-VAE，是否能比共享权重模型更好地捕捉乐器特有的演奏风格？

主要发现

• MIDI-Sandwich2在音乐生成质量上与MuseGAN（一种最先进基于CNN的GAN模型）相当，证明基于RNN的模型在多轨道音乐生成中可达到与CNN相当的性能。
• 基于VAE的重建生成的音乐质量更高、和声性更强、表现力更佳，用户评估平均得分为3.62，优于MuseGAN的3.47。
• 将二值化重新定义为多标签分类显著提升了训练稳定性与梯度流动，解决了BMuseGAN中精炼步骤的不可微性问题。
• 每条轨道独立使用BVAE在捕捉独特乐器演奏风格方面优于共享BVAE，视觉评估与用户评估结果均显示性能提升。
• 用户评估确认，MIDI-Sandwich2的重建音乐在和声性（4.08）、完整性（3.22）和整体质量（3.62）方面评分最高，优于直接生成与MuseGAN。
• 该模型支持半自动音乐调整，可对生成音乐进行细微修改，使其更具音乐连贯性与表现力，这是GAN或标准RNN所不具备的能力。