[论文解读] MidiNet: A Convolutional Generative Adversarial Network for Symbolic-domain Music Generation using 1D and 2D Conditions.

Li-Chia Yang, Szu-Yu Chou+1 more|arXiv (Cornell University)|Mar 31, 2017

Music Technology and Sound Studies参考文献 11被引用 32

一句话总结

MidiNet 是一种一维和二维条件卷积生成对抗网络（GAN），以逐小节方式生成乐谱音乐，利用和声上下文（一维和弦条件）与序列上下文（二维先前旋律）生成连贯、和声和谐的旋律。它每小节输出 16×128 的矩阵（表示 16 分音符分辨率），通过拼接可生成任意长度、可播放的音乐序列。

ABSTRACT

In this paper, we present MidiNet, a deep convolutional neural network (CNN) based generative adversarial network (GAN) that is intended to provide a general, highly adaptive network structure for symbolic-domain music generation. The network takes random noise as input and generates a melody sequence one mea- sure (bar) after another. Moreover, it has a novel reflective CNN sub-model that allows us to guide the generation process by providing not only 1D but also 2D conditions. In our implementation, we used the intended chord of the current bar as a 1D condition to provide a harmonic context, and the melody generated for the preceding bar previously as a 2D condition to provide sequential information. The output of the network is a 16 by 128 matrix each time, representing the presence of each of the 128 MIDI notes in the generated melody sequence of that bar, with the smallest temporal unit being the sixteenth note. MidiNet can generate music of arbitrary number of bars, by concatenating these 16 by 128 matrices. The melody sequence can then be played back with a synthesizer. We provide example clips showing the effectiveness of MidiNet in generating harmonic music.

研究动机与目标

• 开发一种通用且可适应的深度学习框架，用于符号领域音乐生成。
• 实现基于和声（一维）与序列（二维）上下文的条件音乐生成。
• 实现实时、逐小节生成连贯、和声和谐的旋律，全面控制结构与和声。
• 通过拼接生成的小节输出，支持任意长度音乐的生成。

提出的方法

• 该模型采用条件 GAN 架构，其生成器输出代表每小节 16 分音符分辨率下 MIDI 音符事件的 16×128 矩阵。
• 一个反射卷积神经网络（CNN）子模型同时处理一维和弦条件（和声上下文）与二维先前旋律条件（序列上下文），以引导生成过程。
• 生成器以随机噪声和条件向量作为输入，按顺序逐小节生成。
• 判别器评估生成小节的真实性，区分真实与生成的序列。
• 网络端到端训练，以生成音乐上连贯、和声和谐的旋律，并保持结构一致性。
• 生成的小节通过拼接形成更长的序列，实现任意长度音乐输出。

实验结果

研究问题

• RQ1 具备一维与二维条件的条件 GAN 是否能以逐小节方式生成音乐上连贯、和声和谐的旋律？
• RQ2 一维和弦条件与二维先前旋律条件在多大程度上能有效引导结构一致的音乐生成？
• RQ3 该模型能否通过顺序生成并拼接小节，生成长而连续的旋律？
• RQ4 与无条件或单条件基线相比，反射 CNN 子模型在多大程度上提升了生成质量？

主要发现

• MidiNet 通过结合当前和弦进行与先前生成的旋律作为条件，成功生成和声和谐、连贯的音乐序列。
• 使用二维先前旋律作为条件，使模型能够保持小节间旋律的连贯性。
• 模型以标准符号格式（16×128 矩阵）输出，可直接通过合成器播放。
• 逐小节生成过程允许通过拼接实现灵活的、任意长度的音乐创作。
• 示例音频片段展示了模型生成音乐上合理且和声一致旋律的能力。
• 反射 CNN 子模型有效整合了多模态条件（一维与二维），显著提升了生成质量。